Лекция 20. Sequence-to-sequence. Механизм внимания. Закон Ципфа vs NMT

[@antonalekseev6568]

0:00 -- Общие слова о задачах sequence-to-sequence
4:28 -- Sequence to sequence learning with neural networks
11:25 -- Что делать, если забывается thought vector
14:35 -- "Не выйдет затолкать смысл всего ___ предложения в один ___ вектор"
16:59 -- Вспоминаем, что такое attention
19:15 -- Soft attention
32:34 -- Проблемы, связанные с размерами словаря в машинном переводе
35:08 -- Механизм копирования
38:45 -- От слов к символам
41:43 -- Byte-Pair Encoding (BPE)
48:27 -- Советы по обучению seq2seq
52:01 -- Важные подходы, о которых мы не говорили
59:22 -- Инструменты и литература