วีดีโอ

Вопрос вызвал спойлер, где было сказано, что размерность модели и размерность векторов V по факту окажется одинаковой. Вопрос: почему бы сразу не искать скалярное QV? Зачем в «посредники» ввели матрицу К и потом взвешивают сумму векторов V по весам софтмакса QK? Зачем лишняя информация в виде матрицы К?

Я осознал с 3-го просмотра как эта штука работает :) Но это не значит, что автор плохо объясняет 😂

Вопрос- почему в блоке нет ни одного обучаемого параметра? Разве изначально матрици Q, K и V не обучаються? Спасибо

Как и всегда, лекции на шикарном уровне!

Очень интересная подача материала! Когда услышал про Фетхие, улыбнуло) Мы с семьей там как раз в одно и то же время с вами жили, два года. Как второй дом теперь)

35:40 если перенести в general capabilities то там это могло бы назваться language invariance в классическом NLP алгоритм существенно зависит от специфики языка, скажем, финты для "оцифровки" английского, русского, китайского и языка каких-нибудь папуасов Полинезии будут отличаться радикально быть может, я чего-то не знаю, но как мне видится, то что отличает LLM в разрезе NLP, так это то что многоязычность заложена в самой архитектуре и если какой-то язык не поддерживается то это скорее вопрос доступности обучающих данных или вычислительного бюджета разработчиков, а не алгоритмическая проблема

Спасибо большое за Ваш труд.

На самом деле это самая сложная лекция курса. Пересматривая эту лекцию с дистанцией в год понимаешь намного больше и извлекается намного больше смысла. Через год еще раз посмотрю. Вот точно - много новых смыслов увижу. Автору 🤝

АИ для сурдоперевода? Это для глухих которые не умеют читать? Потому что автоматические субтитры выглядит задачей попроще )

Спасибо за лекцию! Вот интересно, если при инициализации фильтров, их веса распределятся так, что при умножении на на входной тензор они дадут примерно равные значения, то дальше мы потеряем информационность тензоров. И обратное распространение не будет обучать эти фильтры. И если такое может случиться на разных слоях, то это не даст возможности обучать сеть в общем. И еще одно наблюдение. Мы ведь не можем быть уверенны, на каком уровне астракции остановилась сверточная сеть. То есть размеры обьектов в тензоре должны быть примерно одинаковые, ведь наш фильтр не сработает, если объекты будут кратно по размеру отличаться. А также мы не можем определить что признаки, которые нашла сеть перед полносвязным слоем, расположенны именно так как мы ожидаем.

Евгений, большое спасибо за проделанную работу. Было очень познавательно. Думаю есть смысл продолжать. Мне зашло)

... бухаешь?

... МММ современности )))

Еще захотелось добавить, что инди-хакерский подход у ребят мне видится очень, мега, трезвым - быстрые гипотезы, без влюбления и очарования. Они сейчас как серферы в лёгких нелипнущих ботинках. Задерживаться там однозначно. Всех благ им, и вам, Евгений, в вашей задумке - что конечно же читается!

Клёво сказано: короткая дорожка для умников! Реально! Ситуация такая, что технологии развиваются настолько быстро, что большинство компаний просто не имеют возможности привлекать достаточное количество специалистов в теме AI. Поэтому скорее проектам на AI стоит думать в сторону работы с B2B сектором (даже наверное B2B2B - что еще мультипликатор). Не стоит заниматься конечным потребителем - все взаимоотношения с ним уже многократно отутюжены обычным бизнесом - нужно помочь компаниям. И взять свои деньги за момент - момент, когда большие компании из за бурного течения отстали. ЗЫ: Можно подробнее по сурдопереводчику? Можно стать тестером?

Справа французик

Отличный формат! Надеюсь на его развитие 👍

Формат класс! Нужно больше такого. Но ребята, без обид, какие-то невнятные. я попробовал зайти на сайт, но там пусто. Одно предложение. Поискал github - снова ничего. LinkedIn - мертвый. Так что же они продвигают? С чем идут к инвесторам? С идеей? Так это очень размытая идея. Все AI стартапы предлагают эту идею, поскольку это и есть идея AI

🔥🔥🔥

давно пора! очень рад появлению нового формата, надеюсь в будущем их будет больше . . . . . где комменты? 🤨

@jack j Вам хочется "настоящей" мультимодальности - ну так подождите несколько лет настоящую мультимодальность пока слишком дорого обучать "налево и направо" кроме того, учтите что текстовые даные для self-supervised learning гораздо более доступны (и в достаточном количестве) чем данные для других модальностей

Прежде, чем вещать, сам бы разобрался

Видно, что парень еще сам совсем не разобрался... Дизлайк

Потрясающие лекции и безумно красивая математика - как из довольно неприятной формулы выходит вполне себе понятная и красивая loss function. Спасибо, Евгений!

Былр бы интересно послушать другие глубокие лекции на тему классического cv: shape analysis, texture analysis, eigen analysis, orb, image moments. Есть еще области где глубокие модели беспомощны.

Шикарное объяснение этой темы

Спасибо огромно за курс!!!!!

Что плохого в batchnorm? Я активно им пользуюсь, частенько помогает.

Приветствую, Учитель. Интерес у аудитории к тематике есть. Спасибо за контент!

Спасибо за вебинары. Забрел сюда случайно, еще на первую сессию и дотянул то нынешнего момента)) Вопрос относительно галлюцинаций. Я понимаю, что таким образом, как описано в статье, мы можем найти области, где модель любит галлюцинировать. Но по описанию не совсем понял, что мы делаем далее, чтобы уменьшить этот эффект?

Не понятно как на этапе тестирования они после замены слоев подобрали веса на новых слоях. По идее их надо тоже обучать, тогда это надо сделать на этапе обучения.

Спасибо за топ контент! Буду рад послушать про мультимодальность, тема тоже интересная.

Господи, где вам поставить памятник?)) Наконец-то все четко по полочкам разложено

Благодарю, Евгений! Галлюцинации - важная тема. Думаю, что в последующих поколениях моделей найдут ещё способы, как с ними бороться, помимо фаинтьюнинга.

круто, спасибо за разбор

Semantic deduplication напомнил NMS в object detection, только сравниваем не по IoU, а по CosSim

Курсор там, где нужно)

Супер видео, очень рад, что есть такие выпуски! Наверное всё-таки mOdeling, а не modEling

Ну, а как момент с границами на AGI перенести?.. да, даже хотя бы proto-AGI...

Какое же крутое объяснение. Спасибо большое ❤❤❤

Разбор по взрослому! Только факты! Спасибо за труд и прошу продолжайте Ваше творчество! Очень сильно помогает понять материал.

Так а чему учиться? Что и на что переучивать? Было бы интересно посмотреть такой ролик, спасибо👍👍👍👍

Папа периодически высказывал пессимистические мысли по поводу того, что искусственный интеллект отберёт рабочее места. Он устанавливал телефонные станции раньше. И я привела ему такой пример: если не будет хватать рабочих мест, то давайте просто отключим все телефонные станции и поставим опять телефонисток. Он согласился, что прогресс - это хорошо, и его просто нужно учитывать. По-моему самое слабое место у человечества сейчас - это образование, которое отбивает у детей стремление к учёбе (посмотрите как стремятся дети первый раз в первый класс, и с каким нежеланием идут во второй) и так мы получаем взрослых, которые боятся и не хотят переучиваться на новые специальности.

так это все прогрев)

я только курс закончил на скилбоксе по нейросетям...опять переучиваться надо... меня это достало, возвращаюсь в продажи, они никогда не умрут

аналогия про электричество, кстати, в точку не забывайте, что помимо того что в розетке оно "уже готовое", повышение эффективности аккумуляторов это ключевая задача, от которой зависит весь Hi-Tech первой половины XXI века и накакой инженер-электронщик или даже продвинутый радиолюбитель не обходится без изучения основ физики электромагнетизма, хотя бы ради профессиональной интуиции впрочем это уже неоднократно пройденная история: "профессиональный пессимизм" фонарщиков конца XIX века был объективно обусловлен, но, кажется, спустя век мы имеем число электриков и энергетиков на порядки превосходящее тех самых фонарщиков (хотя как бы и да, действительно больше никто не изобретает динамомашины для личного пользования)

Стадия отрицания

Очень Глубокая мысль про расширение границ... Это результат каждой революции , как только будет прорыв, то затем идёт экспоненциальный рост задач, особенно на первом этапе

тренироваться и тренироваться в публичных выступлениях

Если разбираешься в ML, то понимаешь, что всё ОК, никакие искусственные нейронки никогда не заменят реальный мозг человека. Если конечно нейронок не будут воспитывать как людей, с рождения и на протяжении всей жизни. У меня есть идея собрать глубокую архитектуру и передать её каким-нибудь "маме" и "папе", чтобы они обучали её ходить, говорить, совершать ошибки и исправлять их, рисовать фломастерами на обоях, объяснять что такое хорошо и что такое плохо итд. Тут скорее вопрос в том какая это должна быть архитектура (безусловно это должна быть смесь из reinforcement и classification, возможно что-то ещё) и самое главное какие вычислительные мощности нужны для этого, ведь там будут, вероятно триллионы фич. P.S. Меня всё больше пугает скорость разработок ультралайтиксов... Я ещё YOLO 8 нормально не пощупал, а на днях вышла YOLO 11. Так и хочется сказать "Горшочек, не вари ! Я не вывожу" )) P.P.S. тоже иногда приходят мысли о яхтинге, есть в Москве пара мест, где можно поучиться. Правда сейчас осень в разгаре и погода не слишком благоволит