Татьяна, спасибо, что своим качественным аттеншеном вы декодировали эмбеддинги этой темы в русский язык в форме, в которой я могу с низким уровнем потерь закодировать эту тему в свои эмбеддинги
3:24 В чём неполноценность RNN-экнодера и RNN-декодера 5:30 Общими словами: Как attention решает проблему "забывчивости" обычных rnn декодера и энкодера 8:10 Математика и архитектура, как attention помогает декодеру смотреть на всё предложение целиком и учитывать контекст 13:43 Что лежит внутри функции attention? 18:50 отступление, доказательства того, что attention действительно state-of-the-art... 20:49 Self-attention как надстройка над attention. Идея 23:46 Архитектура, self-attention в декодере. 27:06 Архитектура, self-attention в энкодере. 28:26 multi-head attention 30:00 некоторые выводы по лекции 31:00 пару слов о транформерах 33:24 Визуализация работы трансформера (гифка) 34:16 ещё один пример внимания на предложении постоянно возвращаюсь к этой лекции! Прекрасная лекторка, спасибо Татьяне!
36:06 it/il/elle это местоимение а не артикль но в целом изложение просто супер, в плане доходчивости focus Attention on the most tricky stuff is all you need
В примере про трансформер - это не артикль. Это местоимение - il, elle (он, она). Выбирается исходя из рода существительного: un animal, une rue. Но концептуально - понятно )
Я б перевёл "человек с попугаем на плече зашли в бар". Попугай - живое существо, а не вещь, над о уважать его индивидуальность ). Давно хотел разобраться с вниманием и вот после этого (и ещё кучки других) видео, чуть-чуть понятнее стало. Вот по поводу self-attentions не понял. Их специализация распознавать род, падежи и прочее как-то явно задаётся при обучении (скажем, score за это) или "оно само так выходит" и как они вообще обучаются? Можно ли говорить, что attention это такой более навороченный embedding для предложений с сохранением вклада каждого слова? Или он не имеет смысла сам по себе, только для конкретной языковой пары и конкретной пары предложений? Вообще вот как хорошие переводчики переводят, они воспринимают смысл сказанного, а потом подбирают аналогичный по смыслу перевод. По словам точно нельзя переводить, даже по сочетаниям слов далеко не всегда можно. Но attention это всё-таки не совсем смысл предложения. Интересно, не будет ли более эффективным именно что-то с учётом смысла, разного рода ассоциаций между базовыми понятиями с генерацией более сложных, абстрактных. Интересно это даже не для перевода, который и так улучшился многократно, а в плане создания моделей, именно понимающих явления, способных логически рассуждать и оперировать понятиями так, как это делает человек, который научился этому, не читая все тексты интернета.
Нет, "Человек с попугаем" здесь одно подлежащее, поэтому "зашел". Если бы было "Человек и попугай на его плече", то тогда два подлежащих и будет "зашли"
Ввожу новую лемму: если лекцию ведёт Татьяна, то лекция будет отличная!
А все, лавочка закрылась)
@@tatianagaintseva8701 Больше не будет лекций?
@@dimka11ggg в смысле?
@@DeepLearningSchoolну Татьяна же сказала что лавочка закрылась
Татьяна, спасибо, что своим качественным аттеншеном вы декодировали эмбеддинги этой темы в русский язык в форме, в которой я могу с низким уровнем потерь закодировать эту тему в свои эмбеддинги
Лучшее объяснение для attention во всём интернете на русском и английском. Спасибо большое❤🔥
3:24 В чём неполноценность RNN-экнодера и RNN-декодера
5:30 Общими словами: Как attention решает проблему "забывчивости" обычных rnn декодера и энкодера
8:10 Математика и архитектура, как attention помогает декодеру смотреть на всё предложение целиком и учитывать контекст
13:43 Что лежит внутри функции attention?
18:50 отступление, доказательства того, что attention действительно state-of-the-art...
20:49 Self-attention как надстройка над attention. Идея
23:46 Архитектура, self-attention в декодере.
27:06 Архитектура, self-attention в энкодере.
28:26 multi-head attention
30:00 некоторые выводы по лекции
31:00 пару слов о транформерах
33:24 Визуализация работы трансформера (гифка)
34:16 ещё один пример внимания на предложении
постоянно возвращаюсь к этой лекции! Прекрасная лекторка, спасибо Татьяне!
спасибо за хорошее объяснение
Очень понятное обьяснение, спасибо!
Attention is all you need ❤️
Первая лекция в ЖИЗНИ, ни одно слово которой не прошло мимо ушей
Топовая лекция, топовый лектор
Пожалуй, лучшее объяснение идеи Self-Attention, которое я нашел на русском и английском языке. Все понятно, спасибо.
36:06 it/il/elle это местоимение а не артикль
но в целом изложение просто супер, в плане доходчивости
focus Attention on the most tricky stuff is all you need
"Мы как люди понимаем это из здравого смысла"😂😂😂
Ахахахаха
Все-таки мы-люди- неисправимые нарциссы😂😂😂
На последнем слайде можно слово "животное" заменить на слово "кошка", тогда "она" будет и про дорогу, и про кошку :) Очень классная лекция, спасибо!
Малаца, всё понятно, я доволен
В примере про трансформер - это не артикль. Это местоимение - il, elle (он, она). Выбирается исходя из рода существительного: un animal, une rue. Но концептуально - понятно )
@DeepLearningSchool Добавьте, пожалуйста, данную лекцию в плейлист "Вторая часть курса Deep Learning School" :)
Татьяна, а можно попросить записать видео по Transformer?
Почему не было связей от tired и wide?
Я б перевёл "человек с попугаем на плече зашли в бар". Попугай - живое существо, а не вещь, над о уважать его индивидуальность ).
Давно хотел разобраться с вниманием и вот после этого (и ещё кучки других) видео, чуть-чуть понятнее стало. Вот по поводу self-attentions не понял. Их специализация распознавать род, падежи и прочее как-то явно задаётся при обучении (скажем, score за это) или "оно само так выходит" и как они вообще обучаются?
Можно ли говорить, что attention это такой более навороченный embedding для предложений с сохранением вклада каждого слова? Или он не имеет смысла сам по себе, только для конкретной языковой пары и конкретной пары предложений? Вообще вот как хорошие переводчики переводят, они воспринимают смысл сказанного, а потом подбирают аналогичный по смыслу перевод. По словам точно нельзя переводить, даже по сочетаниям слов далеко не всегда можно. Но attention это всё-таки не совсем смысл предложения. Интересно, не будет ли более эффективным именно что-то с учётом смысла, разного рода ассоциаций между базовыми понятиями с генерацией более сложных, абстрактных. Интересно это даже не для перевода, который и так улучшился многократно, а в плане создания моделей, именно понимающих явления, способных логически рассуждать и оперировать понятиями так, как это делает человек, который научился этому, не читая все тексты интернета.
Нет, "Человек с попугаем" здесь одно подлежащее, поэтому "зашел". Если бы было "Человек и попугай на его плече", то тогда два подлежащих и будет "зашли"
А качество только такое будет?
ютуб раскодирует в очереди
уже есть 1080@60
"скор" по-русски оценка
Вес вообще-то не омега, а дубль-вэ.
гуглА - это чтобы подчеркнуть свою причастность к узким кругам.
Не поняла :)
я простой человек и не могу панибратски говорить гуглА :)
@@bluxer4225 что-то я никогда об этом не задумывалась и всегда говорила "у гуглА"
@@tatianagaintseva8701 такому редкому сочетанию ума и красоты позволено всё!
@@bluxer4225 ну тагдя ладня ~(˘▾˘~)