Прикладное машинное обучение 4. Self-Attention. Transformer overview
ฝัง
- เผยแพร่เมื่อ 20 ต.ค. 2024
- Ссылка на материалы занятия (и дополнительные материалы): github.com/gir...
Общая информация о курсе: ml-mipt.github...
Плейлист с лекциями: • Прикладное машинное об...
Плейлист с семинарами: • Прикладное машинное об...
Лектор: Радослав Нейчев
Монтировал: Роман Климовицкий
Лучшее объяснение трансформеров которое я когда либо видел - четко внятно и все по делу. Автор большой молодец!!
Отличная лекция! Много дополнительных объяснений о неинтуитивных моментах, которых не увидишь в статьях. И правильная визуализация positional embeddings, которую почему-то часто изображают отдельно для четных и нечетных позиций, что вводит в заблуждение. Преподаю сам. Спасибо!
лекция топовая, Радослав очень круто объясняет - благодарю!
Только русский скоро совсем забросит 🤣🤣🤣
@Red_Paper6495 лол, 10 строчек на торче. что тут реальзовать-то?
Каждый раз слышу, будто Радослав хочет парализовать вычисления )
да... напомнило из Сп**дили сцену у циган про песиков...
Очень хорошо объясняет, спасибо большое
Мне кажется, звук какой-то зашумленный, его качество хуже, чем обычно (
Александра Кондратенко Чтобы не переобучиться:)
ухты! трансформеры - это красиво 😄 хорошая статья
Не могу найти материалы данной лекции и семенара на github. Может кто-нибудь подскажет, где искать?
Спасибо! Лектор - супер!
Спасибо за видео. Остался вопрос, как все эти вектора тренируются, особенно в энкодере, если у него выход завязан сразу на много декодеров и ошибку надо считать для каждого из них.
можете подсказать в каком видео про batch normalization говорится? искал , не нашел к сожалению
Отличный курс!
годнота, жаль вы на ФКНе не преподаете
Хи*уя не понял. Но очень интересно!
Добрый день, ссылка неактуальна(
Есть ли актуальная ссылка ?
Перевожу с гиковского: "dot product" - "скалярное произведение", "bottleneck" - "узкое место/бутылочное горлышко", "attention score" - "уровни/рейтинги внимания"
Сколькож у него рубашек
Оптимус гэнг уже не тот
Как раз-таки тот, друг. Или ты ставишь клоунаду выше этого божественного знания? Надеюсь, ты поумнел за 2 года.
@@torcher5023 дядь иди проветрись
@@vanderhuuy Сам проветрись, нормис
Разве можно задать вопрос если практически ничего непонятно. Для того чтобы понять взаимосвязь слов в этом видео наверное надо быть самим трансформерам. Половина слов на английском, половина логических цепей скачут, упуская смысл. В общем яркий пример самообучения... Но я всё равно лайк поставлю Просто потому что Тема Очень актуальная. Хотелось бы узнать поподробнее. Чтобы кто-то рассказал более разжеванно на конкретных примерах. Где эти технологии уже применяются? Где непосредственно обыватели могут их использовать? Вот я сейчас надиктую эти слова, Можно ли задействовать здесь трансформер и почему до сих пор так много ошибок? Почему не комбинирует разные методики для улучшения распознания речи. Например чтение по губам плюс анализ произнесенного. Уже молчу О всём остальном. Где перевод на лету англоязычных видео на Ютюбе? Где нормальные синтезаторы речи? Искусственный интеллект это наше будущее это наше всё. Почему мы до сих пор топчемся на месте и никто не может реализовать массу идей которые уже от счастья реализованный но разрозненны? Когда появится язык программирования нового поколения, в виде голосовых помощников которые составляют программы непосредственно из сказанного делают то что их просят?
Где в конце концов таргетированный доход о котором я написал целую статью. Люди боятся Что за ними следят в сети, но я очень сожалею что за мной следят недостаточно. У меня, Как возможно и у других, масса полезных идей которые могли бы принести миллионы и могли бы быть полезны и всему обществу, Но кто их заметит? Люди до сих пор остаются в рабстве. Огромные и людской потенциал не используется. Искусственный интеллект мог бы проводить профориентацию и автоматически Как зарабатывать самостоятельно так и давать зарабатывать другим, по принципу игры с ненулевой суммой. Но мне некогда про это рассказывать, потому что повторюсь нахожусь в социальном рабстве.
ИИ уже помог в Великобритании распределить школьников по вузам ))
@Сергей Михалев В смысле?
часть из перечисленного Вами есть, но платно. Я думаю, значительная часть упирается в ресурсы. Методы, о которых лектор говорит, требуют одну или более видеокарту для вычислений.
Яндекс в яндекс-браузере месяц назад запустил перевод видео с генерацией речи, например.
Всё развивается, но это дело нескольких лет, а не дней или месяцев)
@@miremax0, Удивительно но именно сегодня тоже узнал о том что на Яндексе можно переводить видео. Правда К сожалению надо ставить Яндекс Браузер ну хоть так. Буду пробовать Жаль только нету времени...
Нихрена не понятно. Формулы (типа R^...) - вообще ни к чему не привязаны!
R^k это просто означает что мы имеет дело с вектором вещественных чисел размерности k. Если R^k×k то это уже матрица размерности k на k. Странно конечно изучать уже аж трансформеры и не знать таких вещей. Но возможно вы говорите про какой-то другой момент, я просто до конца не досмотрел еще
То есть что h1, ..., hN ∈ R^k означает что каждый h это просто вектор вещественных чисел длины k