После просмотра подобных видео всегда сдерживаешься, чтобы тебя не разорвали на части 2 эмоции: радость от крутого материала и сожаление о том, что в университете ни один из преподавателей даже близко не подошел к уровню преподавания, продемонстрированного в видео. Спасибо за курс
19:44 подскажите пожалуйста! Не понимаю, если в тензоре, как я понял, просто выписываются элементы последовательно в матрицу 1 на 8, то по какому принципу разворачиваются веса в матрицу 2 на 8?
Если у меня на входе не 3, а 28 каналов (ну так получилось осле FFT), то мне доступ к предобученным сетям типа VGG зарыт? Или можно как--то извратиться и свести к 3 каналам?
Ребят, не совсем понял про VGG14 момент с макспулом - на каждом очередном макспуле максимум выбирается из окна нейронов размером 2 на 2 с шагом 2 - таким образом результирующее число нейронов в каждом из подслоев макспула уменьшается в 4 раза и результирующий размер должен составить, например на макспуле после первого сверточного слоя, 112х112х64 а не 112х112х128 как указано в описании к архитектуре, потом погуглив нашел картинки, где между группами сверточных слоев нарисованы стрелочки с подписями pool/2. Что значит pool/2 - ? Значит что максимум выбирается из окна 2 на 1? Или как это понимать? Спасибо!
Если мы скомбинируем информацию из каналов в виде одного числа, то мы потеряем информацию о каждом канале в отдельности - причина потери информации. Также потенциальное число которым мы закодируем цвет может быть очень большим, что может сказаться на стабильности градиента. Хотя 4 года прошло)
У меня такой дилетантский вопрос: почему в сети засовывают цветные картинки (3 канала), если можно их перевести в grayscale и на выходе получить в 3 раза меньше набор обучаемых параметров? Ведь, насколько я понимаю, мы не отталкиваемся от цвета когда классифицируем объект на картинке, объекты же могут быть абсолютно любого цвета, в т.ч. серого.
Mike Menshikov во-первых, параметров в три раза меньше будет только на первом слое, а во-вторых в цвете очень много полезного сигнала, т.е. на чернобелых сеть бы научилась распознавать хуже
Большое спасибо за лекции!!! Извиняюсь за глупый вопрос и тем более запоздалый! Подскажите пожалуйста, как мы выбираем количество каналов для свертки? Правильно ли я понял при свертке мы суммируем значения (произведение веса(для данного канала) на значение пикселя (для данного слоя)) полученные на всех слоях изображения (RGB)
Да, именно так, только каналов на входе может быть больше 3 в середине сети. Количество каналов - это параметр архитектуры, точно так же как количество нейронов в fully connected слоях
Отличное объяснение! Но я так и не понял, как считается градиент для conv-слоев. Для каждого conv-канала существует множество входных данных (если kernel_size ≠ image_size) и как тогда брать градиент? Он просто суммируется по всем "входам" или среднее берется? Или что-то другое...?
@@konstantinkulagin Как это? Если все еще непонятно, читать: cs231n.github.io/convolutional-networks/ или смотреть: th-cam.com/video/LxfUGhug-iQ/w-d-xo.html
@@Renat863 в основном из-за простоты(миром правит лень, ну и чуток бабы), ну и микроскопом саморезы забивать в `19 уже... такое... да и тф оптимизирована хоть на радиках, хоть на куды-киных, хоть на лапатафонах...
@@cover-band6035 холивар на тему, круче тф чем кафе торчЪ цнтк или х.з. ещё что-то, для меня не интересен, бенч для продакшена? ну поищите, если найдёте плз поделитесь. а если бенч для обучения, то как-бы сОАвсем не интересно, т.к. ИМХО проще связки питон-юпитер-тф-керас-тензорбоард не придумано пока
После просмотра подобных видео всегда сдерживаешься, чтобы тебя не разорвали на части 2 эмоции: радость от крутого материала и сожаление о том, что в университете ни один из преподавателей даже близко не подошел к уровню преподавания, продемонстрированного в видео. Спасибо за курс
19:44 подскажите пожалуйста! Не понимаю, если в тензоре, как я понял, просто выписываются элементы последовательно в матрицу 1 на 8, то по какому принципу разворачиваются веса в матрицу 2 на 8?
тоже не понимаю. вы разобрались? может материал какой подбросите? :)
Это лучшее из того, что я видел в youtube на эту тему.
Теперь звук в порядке. Спасибо!
Спасибо за перезалив!
почему обычно в конце больших CNN не более двух полносвязных слоев? Чтоб избежать затухания градиента? И BN обычно в них не ставят?
В задании на реализацию самому сверхточного слоя сильно упрощает жизнь np.einsum, хоть не уверен, что это оптимально с точки зрения производительности
Если у меня на входе не 3, а 28 каналов (ну так получилось осле FFT), то мне доступ к предобученным сетям типа VGG зарыт? Или можно как--то извратиться и свести к 3 каналам?
Ребят, не совсем понял про VGG14 момент с макспулом - на каждом очередном макспуле максимум выбирается из окна нейронов размером 2 на 2 с шагом 2 - таким образом результирующее число нейронов в каждом из подслоев макспула уменьшается в 4 раза и результирующий размер должен составить, например на макспуле после первого сверточного слоя, 112х112х64 а не 112х112х128 как указано в описании к архитектуре, потом погуглив нашел картинки, где между группами сверточных слоев нарисованы стрелочки с подписями pool/2. Что значит pool/2 - ? Значит что максимум выбирается из окна 2 на 1? Или как это понимать? Спасибо!
В чем преимущество использования 3ех каналов перед одним числом, которым можно выразить цвет? Просто по принципу "чем больше число входов, тем лучше"?
Если мы скомбинируем информацию из каналов в виде одного числа, то мы потеряем информацию о каждом канале в отдельности - причина потери информации. Также потенциальное число которым мы закодируем цвет может быть очень большим, что может сказаться на стабильности градиента. Хотя 4 года прошло)
сдвинули этот экран пленку с него...?
У меня такой дилетантский вопрос: почему в сети засовывают цветные картинки (3 канала), если можно их перевести в grayscale и на выходе получить в 3 раза меньше набор обучаемых параметров? Ведь, насколько я понимаю, мы не отталкиваемся от цвета когда классифицируем объект на картинке, объекты же могут быть абсолютно любого цвета, в т.ч. серого.
Mike Menshikov во-первых, параметров в три раза меньше будет только на первом слое, а во-вторых в цвете очень много полезного сигнала, т.е. на чернобелых сеть бы научилась распознавать хуже
Ясность, спс за быстрый ответ
Большое спасибо за лекции!!!
Извиняюсь за глупый вопрос и тем более запоздалый!
Подскажите пожалуйста, как мы выбираем количество каналов для свертки?
Правильно ли я понял при свертке мы суммируем значения (произведение веса(для данного канала) на значение пикселя (для данного слоя)) полученные на всех слоях изображения (RGB)
Да, именно так, только каналов на входе может быть больше 3 в середине сети. Количество каналов - это параметр архитектуры, точно так же как количество нейронов в fully connected слоях
Отличное объяснение!
Но я так и не понял, как считается градиент для conv-слоев.
Для каждого conv-канала существует множество входных данных (если kernel_size ≠ image_size) и как тогда брать градиент? Он просто суммируется по всем "входам" или среднее берется? Или что-то другое...?
По всей видимости там сумма по входам... но почему именно сумма?
Почему все так гемморойно
А где ссылки обещанные? :)
В описании!
@@sim0nsays нету!
@@konstantinkulagin Как это? Если все еще непонятно, читать: cs231n.github.io/convolutional-networks/ или смотреть: th-cam.com/video/LxfUGhug-iQ/w-d-xo.html
Больше хотелось бы увидеть Keras и Tensorflow на практике, а не PyTorch(
Почему?
@@Renat863 в основном из-за простоты(миром правит лень, ну и чуток бабы), ну и микроскопом саморезы забивать в `19 уже... такое... да и тф оптимизирована хоть на радиках, хоть на куды-киных, хоть на лапатафонах...
@@zombie_vоткуда у Вас такие познания, можно поподробнее про достоинства и недостатки разных DL библиотек, может ссылки на бенчи?
@@cover-band6035 холивар на тему, круче тф чем кафе торчЪ цнтк или х.з. ещё что-то, для меня не интересен, бенч для продакшена? ну поищите, если найдёте плз поделитесь. а если бенч для обучения, то как-бы сОАвсем не интересно, т.к. ИМХО проще связки питон-юпитер-тф-керас-тензорбоард не придумано пока