12:50 у меня вопрос: какой смысл активационной функции после свертки, если дальше идет пуллинг, который берет максимальные значения? Наша активационная функция ReLU, которая берет max(0, x), и тот же макс пуллинг, который берет максимальное значение. На выходе будет матрица с максимальными значениям после пуллинга, что с активационной функцией, что без нее. Так в чем тогда смысл?
@@АлександрГоготов-д7ь выбирая 0 в качестве максимума при отрицательном аргументе функции max(0, x). Тут противоречий нет. Вопрос в том, можно ли облегчить нейронную сеть, исключив ReLu на слоях с макс пуллингом.. а может так и делают?
@@ТатьянаАндреевнаГайнцева Да, теперь понятно. На тот момент думал, что имеются ввиду входящие размерности, а не исходящие. Ну и то, что предыдущий конв просто флаттенится/"разворачивается".
@@ТатьянаАндреевнаГайнцева Татьяна, подскажите пожалуйста, когда будет открыта запись на осенний курс 2021? И второй вопрос, как можно найти подборку именно ваших лекций по нейронным сетям (да и вообще по DL) (ваша подача материала "зашла" максимально комфортно)) )
@@dmytrobondarenko4796 набор будет открыт к началу сентября, скорее всего, на следующей неделе. Выборки чисто моих лекций нет, придется искать их в этих плейлистах. Я не все лекции читаю, только некоторые. И спасибо за отзыв, мне приятно 🥰🥰
@@tatianagaintseva8701 Собрал все ваши лекции за 2020 год)). А потом нашёл курс вашей школы на степике) Но, на степике есть и старые курсы и новые и это вводит в заблуждение(( Мне больше понравились новые (и это понятно, так как видно что подача материала улучшилась). Уже просмотрел половину, а ваши лекции все)). Такого доходчивого изложения материала больше нигде не встречал. И это все открыто!!! Вы делаете просто потрясающую работу. Но вот найти вас сложно(( Прямого перехода с вашего сайта на степик нет. А собирать видео из частей на ютубе ещё тот квест (непонятно что за чем идёт. Если бы было первое, основное видео в котором были бы ссылки на последующие части было бы значительно удобней). Но, в любом случае, огромное спасибо всей вашей команде за этот курс!!!
Вспомните опять же, что сеть учится целиком. Если мы ставим после conv слоя Макс пулинг, то отрицательные числа будут, как вы сказали, отбрасываться, и останутся только положительные. Conv слой подстроится под этот факт и будет учиться выдавать только ту инфу, которая после Макс пулинга будет иметь смысл
@@tatianagaintseva8701 , спасибо. Я про это не подумал. Я так понимаю, что conv слой по градиенту от Loss может сам решить, полезная информация от больших отрицательных числах или нет. И если так, то сделает параметры фильтры такими, что в карте активации они будут принимать противоположный знак. Сложно принять, что это возможно. Есть ощущение, что может не хватить "силы" градиента для первых слоев. А вы проверяете какие значения принимают фильтры, карты активации на процессе обучения?
@@vadimosipov2147 нет, значения не проверяем. По поводу "не хватить градиента для первых слоев" - смотрите предыдущий урок про архитектуры conv сетей и skip connection
Спасибо за видео!
12:50 у меня вопрос: какой смысл активационной функции после свертки, если дальше идет пуллинг, который берет максимальные значения? Наша активационная функция ReLU, которая берет max(0, x), и тот же макс пуллинг, который берет максимальное значение. На выходе будет матрица с максимальными значениям после пуллинга, что с активационной функцией, что без нее. Так в чем тогда смысл?
ReLU не берёт максимум, а просто зануляет отрицательные значения.
@@АлександрГоготов-д7ь выбирая 0 в качестве максимума при отрицательном аргументе функции max(0, x). Тут противоречий нет. Вопрос в том, можно ли облегчить нейронную сеть, исключив ReLu на слоях с макс пуллингом.. а может так и делают?
что-то не понял, если перемножить 13*13*256, то не получится 4096 (fc - слой)
@@ТатьянаАндреевнаГайнцева Да, теперь понятно. На тот момент думал, что имеются ввиду входящие размерности, а не исходящие. Ну и то, что предыдущий конв просто флаттенится/"разворачивается".
@@ТатьянаАндреевнаГайнцева Татьяна, подскажите пожалуйста, когда будет открыта запись на осенний курс 2021? И второй вопрос, как можно найти подборку именно ваших лекций по нейронным сетям (да и вообще по DL) (ваша подача материала "зашла" максимально комфортно)) )
@@dmytrobondarenko4796 набор будет открыт к началу сентября, скорее всего, на следующей неделе. Выборки чисто моих лекций нет, придется искать их в этих плейлистах. Я не все лекции читаю, только некоторые. И спасибо за отзыв, мне приятно 🥰🥰
@@tatianagaintseva8701 Собрал все ваши лекции за 2020 год)). А потом нашёл курс вашей школы на степике) Но, на степике есть и старые курсы и новые и это вводит в заблуждение(( Мне больше понравились новые (и это понятно, так как видно что подача материала улучшилась). Уже просмотрел половину, а ваши лекции все)). Такого доходчивого изложения материала больше нигде не встречал. И это все открыто!!! Вы делаете просто потрясающую работу. Но вот найти вас сложно(( Прямого перехода с вашего сайта на степик нет. А собирать видео из частей на ютубе ещё тот квест (непонятно что за чем идёт. Если бы было первое, основное видео в котором были бы ссылки на последующие части было бы значительно удобней). Но, в любом случае, огромное спасибо всей вашей команде за этот курс!!!
в последнем слое не relu скорее всего, а софтмакс?
Да
Это между
Если на карте активации большие отрицательные числа, то они не пройдут через MaxPooling. Почему это информация отбрасывается?
Вспомните опять же, что сеть учится целиком. Если мы ставим после conv слоя Макс пулинг, то отрицательные числа будут, как вы сказали, отбрасываться, и останутся только положительные. Conv слой подстроится под этот факт и будет учиться выдавать только ту инфу, которая после Макс пулинга будет иметь смысл
@@tatianagaintseva8701 , спасибо. Я про это не подумал. Я так понимаю, что conv слой по градиенту от Loss может сам решить, полезная информация от больших отрицательных числах или нет. И если так, то сделает параметры фильтры такими, что в карте активации они будут принимать противоположный знак.
Сложно принять, что это возможно. Есть ощущение, что может не хватить "силы" градиента для первых слоев. А вы проверяете какие значения принимают фильтры, карты активации на процессе обучения?
@@tatianagaintseva8701 , сейчас смотрю лекцию про Transfer Learning, уже 2 раз. У вас получилось очень круто, и не все понимаю. Нужна ваша помощь )
@@vadimosipov2147 нет, значения не проверяем. По поводу "не хватить градиента для первых слоев" - смотрите предыдущий урок про архитектуры conv сетей и skip connection
@@tatianagaintseva8701 , я смотрел. Задам тогда под тем видео сопутствующий вопрос. Спасибо.
в примерах разницы расположения, как и на предыдущей презентации, изображены неправильные фильтры (вертикальные, хотя должны быть горизонтальные)
Правильно ли понимаю, что pooling это то же, что и subsampling?