- 265
- 78 276
MSU_AI
Russia
เข้าร่วมเมื่อ 28 ม.ค. 2021
Курс «Нейронные сети и их применение в научных исследованиях» ориентирован на освоение инструментов работы с нейронными сетями и сопутствующих современных программных средств.
Цель курса - предоставить молодым учёным разных факультетов МГУ имени М. В. Ломоносова, имеющих базовые знания программирования и математики, возможность использовать методы искусственных нейронных сетей для анализа больших данных в их научных исследованиях.
На этом канале опубликованы видеозаписи лекций курса, видеозаписи с одноименного межфакультетского курса и видео о жизни и главных событиях MSU.AI.
Цель курса - предоставить молодым учёным разных факультетов МГУ имени М. В. Ломоносова, имеющих базовые знания программирования и математики, возможность использовать методы искусственных нейронных сетей для анализа больших данных в их научных исследованиях.
На этом канале опубликованы видеозаписи лекций курса, видеозаписи с одноименного межфакультетского курса и видео о жизни и главных событиях MSU.AI.
Лекция 8: Генеративные модели. Межфакультетский курс для всех студентов МГУ
Восьмое занятие на МФК «Нейронные сети и их применение в научных исследованиях» для студентов МГУ.
Преподаватель: Виктор Немченко
Межфакультетский курс "Нейронные сети и их применение в научных исследованиях" - проводится для студентов МГУ с целью повышения общего уровня эрудиции. Материал лекций не содержит сложных формул и терминов и будет понятен широкой аудитории.
00:00 Заставка
00:02 Лекция 8. Генеративные модели
00:09 О лекторе: Виктор Немченко, преподаватель MSU.AI
00:14 В предыдущих сериях
01:17 Сжатие информации
03:24 Автоэнкодер
16:19 Как создавать новые изображения с помощью нейронной сети (генератор и дискриминатор)
18:58 Генеративно-состязательные сети (GAN - Generative Adversarial Networks)
26:10 Генерация изображений по текстовому описанию
27:46 Архитектура CLIP
37:25 Перенос стиля на видео с помощью ИИ
43:48 Групповой проект (как можно получить зачёт)
Презентация: docs.google.com/presentation/d/1lhTxjNmAmZ1DBSTFbkcb-L5HhNU_NUpueOamBQcLPeo/edit#slide=id.g110ef81fc39_0_1300
Сайт: msu.ai
VK: msu_ai
Telegram: t.me/msu_ai_channel
#МГУ #искусственный_интеллект #нейронные_сети #neural_networks #science #наука #научные_исследования #нейронные_сети_в_науке #как_применять_нейронные_сети #курс_для_студентов_МГУ #наука_и_исследования
Преподаватель: Виктор Немченко
Межфакультетский курс "Нейронные сети и их применение в научных исследованиях" - проводится для студентов МГУ с целью повышения общего уровня эрудиции. Материал лекций не содержит сложных формул и терминов и будет понятен широкой аудитории.
00:00 Заставка
00:02 Лекция 8. Генеративные модели
00:09 О лекторе: Виктор Немченко, преподаватель MSU.AI
00:14 В предыдущих сериях
01:17 Сжатие информации
03:24 Автоэнкодер
16:19 Как создавать новые изображения с помощью нейронной сети (генератор и дискриминатор)
18:58 Генеративно-состязательные сети (GAN - Generative Adversarial Networks)
26:10 Генерация изображений по текстовому описанию
27:46 Архитектура CLIP
37:25 Перенос стиля на видео с помощью ИИ
43:48 Групповой проект (как можно получить зачёт)
Презентация: docs.google.com/presentation/d/1lhTxjNmAmZ1DBSTFbkcb-L5HhNU_NUpueOamBQcLPeo/edit#slide=id.g110ef81fc39_0_1300
Сайт: msu.ai
VK: msu_ai
Telegram: t.me/msu_ai_channel
#МГУ #искусственный_интеллект #нейронные_сети #neural_networks #science #наука #научные_исследования #нейронные_сети_в_науке #как_применять_нейронные_сети #курс_для_студентов_МГУ #наука_и_исследования
มุมมอง: 124
วีดีโอ
Лекция 7: Трансформеры. Часть третья. Межфакультетский курс для всех студентов МГУ
มุมมอง 15316 ชั่วโมงที่ผ่านมา
Седьмое занятие на МФК «Нейронные сети и их применение в научных исследованиях» для студентов МГУ. Преподаватель: Виктор Немченко Межфакультетский курс "Нейронные сети и их применение в научных исследованиях" - проводится для студентов МГУ с целью повышения общего уровня эрудиции. Материал лекций не содержит сложных формул и терминов и будет понятен широкой аудитории. 00:00 Заставка 00:09 Лекци...
Лекция №1 «Введение в машинное обучение»
มุมมอง 409วันที่ผ่านมา
Первое занятие на курсе «Нейронные сети и их применение в научных исследованиях» для восьмого потока обучения. Преподаватель: Виктор Немченко Дата: 10.10.2024 00:00 Заставка 00:45 Два пути 03:33 Задача курса. AI, ML, DL 04:31 Области применения 05:25 Связь с наукой 05:39 Обзор курса 11:33 Типы задач в ML. Базовые задачи 13:19 Типы задач в ML. Комбинированные задачи 14:09 План исследования 15:57...
Лекция 6: Трансформеры. Часть вторая. Межфакультетский курс для всех студентов МГУ
มุมมอง 25214 วันที่ผ่านมา
Шестое занятие на МФК «Нейронные сети и их применение в научных исследованиях» для студентов МГУ. Преподаватель: Виктор Немченко Межфакультетский курс "Нейронные сети и их применение в научных исследованиях" - проводится для студентов МГУ с целью повышения общего уровня эрудиции. Материал лекций не содержит сложных формул и терминов и будет понятен широкой аудитории. 00:00 Заставка 00:02 О лект...
Лекция 5: Трансформеры. Часть первая. Межфакультетский курс для всех студентов МГУ
มุมมอง 221หลายเดือนก่อน
Пятое занятие на МФК «Нейронные сети и их применение в научных исследованиях» для студентов МГУ. Преподаватель: Виктор Немченко Межфакультетский курс "Нейронные сети и их применение в научных исследованиях" - проводится для студентов МГУ с целью повышения общего уровня эрудиции. Материал лекций не содержит сложных формул и терминов и будет понятен широкой аудитории. 00:00 Заставка 00:02 О лекто...
Лекция 4: Рекуррентные нейронные сети. Межфакультетский курс для всех студентов МГУ
มุมมอง 218หลายเดือนก่อน
Четвертое занятие на МФК «Нейронные сети и их применение в научных исследованиях» для студентов МГУ. Преподаватель: Виктор Немченко Межфакультетский курс "Нейронные сети и их применение в научных исследованиях" - проводится для студентов МГУ с целью повышения общего уровня эрудиции. Материал лекций не содержит сложных формул и терминов и будет понятен широкой аудитории. 00:00 Заставка 00:11 Рек...
Лекция 3: Свёрточные сети. Межфакультетский курс для всех студентов МГУ
มุมมอง 184หลายเดือนก่อน
Третье занятие на МФК «Нейронные сети и их применение в научных исследованиях» для студентов МГУ. Преподаватель: Виктор Немченко Межфакультетский курс "Нейронные сети и их применение в научных исследованиях" - проводится для студентов МГУ с целью повышения общего уровня эрудиции. Материал лекций не содержит сложных формул и терминов и будет понятен широкой аудитории. 00:00 Заставка 00:03 Привет...
Лекция 1: Новая суперспособность науки. Межфакультетский курс для всех студентов МГУ
มุมมอง 578หลายเดือนก่อน
Первое занятие на МФК «Нейронные сети и их применение в научных исследованиях» для студентов МГУ. Преподаватель: Виктор Немченко Межфакультетский курс "Нейронные сети и их применение в научных исследованиях" - проводится для студентов МГУ с целью повышения общего уровня эрудиции. Материал лекций не содержит сложных формул и терминов и будет понятен широкой аудитории. 00:00 Заставка 00:21 О прое...
7 поток. Workshop №2 "Нейронные сети в моей публикации". День второй
มุมมอง 113หลายเดือนก่อน
Workshop №2 "Нейронные сети в моей публикации" для слушателей седьмого потока обучения. 26 сентября 2024 года Учащиеся седьмого потока курса "Нейронные сети и их применение в научных исследованиях" рассказывают о том, как они планируют применять ИИ в своих исследованиях. 00:00 Начало 00:07 Дубровин Евгений Владимирович. Основанный на глубоком обучении инструмент для анализа глобулярных структур...
7 поток. Workshop №2 "Нейронные сети в моей публикации". День первый
มุมมอง 62หลายเดือนก่อน
Workshop №2 "Нейронные сети в моей публикации" для слушателей седьмого потока обучения. 25 сентября 2024 года Учащиеся седьмого потока курса "Нейронные сети и их применение в научных исследованиях" рассказывают о том, как они планируют применять ИИ в своих исследованиях. 00:00 Начало 00:07 Наумова Полина Олеговна. Параметризация гетерогенных Rh- катализаторов для выявления количественной взаимо...
Лекция 2: Как работают нейронные сети. Межфакультетский курс для всех студентов МГУ
มุมมอง 291หลายเดือนก่อน
Второе занятие на МФК «Нейронные сети и их применение в научных исследованиях» для студентов МГУ. Преподаватель: Виктор Немченко Межфакультетский курс "Нейронные сети и их применение в научных исследованиях" - проводится для студентов МГУ с целью повышения общего уровня эрудиции. Материал лекций не содержит сложных формул и терминов и будет понятен широкой аудитории. 00:00 Заставка 00:02 О лект...
Университетская смена-Юный Ломоносов 2024
มุมมอง 1402 หลายเดือนก่อน
Команда MSU.AI приняла участие в совместном проекте Московского Университета и Правительства РФ "Университетская смена - Юный Ломоносов" и выступили с лекцией для школьников. Виктор Немченко, преподаватель MSU.AI, рассказал ребятам об искусственном интеллекте и его применении в науке и повседневной жизни. Преподаватель: Виктор Немченко 00:00 Заставка 00:05 Приветствие 00:13 О курсе MSU.AI 01:13...
Применение ИИ в космических исследованиях
มุมมอง 2092 หลายเดือนก่อน
Цикл открытых лекций о применении ИИ в научных исследованиях. Лекция №3 "Применение ИИ в космических исследованиях" Лекцию читает преподаватель MSU.AI Никита Беляков. 0:00 Заставка 0:06 Приветствие 0:32 О лекторе: Никита Беляков 0:57 Тезисы выступления 1:26 Искусственный интеллект. Кратко о главном 11:48 Какие задачи решают нейронные сети 19:26 ИИ в современной науке 31:32 О курсе «Нейронные се...
Пробный контест MSU.AI. Сентябрь 2024. Решаем самые сложные задания вступительного контеста.
มุมมอง 2313 หลายเดือนก่อน
Разбор заданий пробного контеста от сентября 2024 года. Задания данного пробного контеста были взяты из вступительного контеста весеннего набора 2024 года. Преподаватель: Сергей Колпинский 0:00 Заставка 0:50 Задача A. A B 11:47 Возможные значения ошибок 14:19 Задача H. Пришло время учиться 29:07 Задача C. Логирование экспериментов 42:41 Задача Е. Евклид и NumPy 1:07:28 Задача F. Простое ООП 1:1...
7 поток. Workshop №1 "Нейронные сети в моей публикации". День второй
มุมมอง 1333 หลายเดือนก่อน
Workshop №1 "Нейронные сети в моей публикации" для слушателей седьмого потока обучения. 27 июня 2024 года Учащиеся седьмого потока курса "Нейронные сети и их применение в научных исследованиях" рассказывают о том, как они планируют применять ИИ в своих исследованиях. 00:00 Начало 00:06 Румянцев Борис Вадимович, Автоюстировка лазерного пучка с применением методов машинного обучения 22:26 Сальник...
7 поток. Workshop №1 "Нейронные сети в моей публикации". День первый
มุมมอง 1174 หลายเดือนก่อน
7 поток. Workshop №1 "Нейронные сети в моей публикации". День первый
Использования DL для предсказания устойчивости органического углерода в поверхностном слое почвы
มุมมอง 384 หลายเดือนก่อน
Использования DL для предсказания устойчивости органического углерода в поверхностном слое почвы
Использование нейронных сетей для обращения преобразования Фурье функций с компактным носителем
มุมมอง 1594 หลายเดือนก่อน
Использование нейронных сетей для обращения преобразования Фурье функций с компактным носителем
Автоматическое исправление грамматических ошибок для русского языка
มุมมอง 794 หลายเดือนก่อน
Автоматическое исправление грамматических ошибок для русского языка
Анализ типа конкрементов методами оптической спектроскопии и ML
มุมมอง 714 หลายเดือนก่อน
Анализ типа конкрементов методами оптической спектроскопии и ML
Автоматическое извлечение гиперонимов с помощью векторных представлений и больших языковых моделей
มุมมอง 1724 หลายเดือนก่อน
Автоматическое извлечение гиперонимов с помощью векторных представлений и больших языковых моделей
Восстановление волнового фронта мощного излучения среднего инфракрасного диапазона при помощи НС
มุมมอง 824 หลายเดือนก่อน
Восстановление волнового фронта мощного излучения среднего инфракрасного диапазона при помощи НС
Классификация амфифильных макромолекул на поверхности сферической наночастицы с помощью DL
มุมมอง 994 หลายเดือนก่อน
Классификация амфифильных макромолекул на поверхности сферической наночастицы с помощью DL
Нейросетевая генерация траектории стопы человека
มุมมอง 974 หลายเดือนก่อน
Нейросетевая генерация траектории стопы человека
DL для предсказания редокс-потенциалов органических молекул, используемых в цикле переработки ОЯТ
มุมมอง 694 หลายเดือนก่อน
DL для предсказания редокс-потенциалов органических молекул, используемых в цикле переработки ОЯТ
НС для микромагнитной структуры магнитных пленок с неоднородным магнитоэлектрическим взаимодействием
มุมมอง 324 หลายเดือนก่อน
НС для микромагнитной структуры магнитных пленок с неоднородным магнитоэлектрическим взаимодействием
Применение нейронных сетей для вычисления функциональных интегралов в квантовой теории поля
มุมมอง 2034 หลายเดือนก่อน
Применение нейронных сетей для вычисления функциональных интегралов в квантовой теории поля
Восстановление физических полей по полям температуры в осесимметричной турбулентной струе
มุมมอง 1064 หลายเดือนก่อน
Восстановление физических полей по полям температуры в осесимметричной турбулентной струе
Определение пространственных групп координационных соединений с помощью ML
มุมมอง 2404 หลายเดือนก่อน
Определение пространственных групп координационных соединений с помощью ML
Применение нейронных сетей в процессе адаптации гидродинамических моделей подземных хранилищ газа
มุมมอง 774 หลายเดือนก่อน
Применение нейронных сетей в процессе адаптации гидродинамических моделей подземных хранилищ газа
<3
Спасибо за лекцию! Но качество звука можно было бы и поправить: удалить помехи, скрипы, чавкание и т.д.
Начало 11:45
Kosu sresh i podstregisj, sodomit, tischj ne baba?
в разделе train-validation-test на тестовую выборку приходится всего 4% от датасета. не маловато ли?
Скажите, пожалуйста, откуда нейросеть взяла ответы помимо правильного, который мы скрыли (кот и котлета)? И как она дала оценку вероятности?
Добрый день! Закрывая слова токеном [MASK] мы знаем заранее какие слова закрыли, эти слова и являются нашими классами для обучения. Оценка вероятности получается после некоторых преобразований, в рамках курса мы это не рассматриваем, можете дополнительно почитать про функцию softmax.
Да вроде все понятно, по факту
Благодарим за обратную связь.
Люди далекие от реального создания, настройки и обучения нейросетей, 40 минут говорят очень общие фразы не о чем.
Здравствуйте! МФК (межфакультетские курсы) проводятся в МГУ с целью повышения общего уровня эрудиции студентов. Материал, преподаваемый на лекциях МФК, должен быть понятен широкой аудитории. Более подробно с основной программой нашего курса можно ознакомиться в плейлисте "Программа обучения 2.0", а также в репозитории, где самая актуальная разработка нашего курса.
А ты значит родился со знания создания, настройки и обучения нейросетей? 😄 Это вводная лекций по конкретному курсу, очевидно же.
подскажите, а как решается вопрос попадания двух векторов в одну точку ? Ведь при понижении размерности всегда будут вектора с разными данными(смыслами слов), но преобразованные в одну и ту же точку.
Добрый день! Алгоритмы понижения размерности устроены так, что мы стараемся близким объектам из исходного пространства поставить в соответствие близкие объекты из малоразмерного. Не гарантируется, что уменьшающее размерность отображение является биекцией и каждому объекту в пространстве высокой размерности соответствует ровно один объект в пространстве низкой. При отображении нескольких исходных объектов в одну и ту же точку возможны два варианта: 1) исходные объекты на самом деле почти одинаковые в выбранном нами смысле. 2) алгоритм построен плохо и на самом деле не решает поставленную задачу по снижению размерности.
Спасибо
Спасибо большое за познавательный курс и, отдельный респект, за доступность изложения непростой темы. Не могли бы вы более подробней раскрыть, что такое доменная область? Чуточку не раскурил это понятие, спасибо.
Добрый день. Доменная область в контексте машинного обучения определённая область или задача. Например, если вы обучаете модель для распознавания изображений кошек и собак, то доменная область - это набор изображений с этими животными, включая их фон, разрешение и условия съёмки. Если вы используете другую доменную область, например, фотографии автомобилей (другое освещение, фон, разрешение), то модели может быть сложнее обобщать свои знания на эти данные из-за различий в доменных областях.
@@MSU_AI Огромное спасибо за развернутое пояснение.
Сможете подсказать кто из преподавателей понимает как работает архитектура yolov8, хотелось бы поспрашивать как обучить модель распознавать круги и выдавать вместо ширины и высоты ограничивающего четырехугольника, локацию по x/y и радиус.
Добрый день! Модель предсказывает центр + ширину(w) и высоту(h). Центр круга должен совпадать с центром предсказанного прямоугольника, а радиус = (h+w)/4
@@MSU_AI я так понимаю, это постобработка. реализовать полное изменение архитектуры под circle detector очень сложно? просто мои круги на изображении это множество пустых контуров пересеченных друг с другом и мне важна точность их местоположение и радиус, справятся ли стандартный bounding box?
Классные лекции - не могли бы вы их выложить на Platforma или вк - а то с ютубом сами понимаете что ...
Здравствуйте! На данный момент материалы наших лекций также доступны по ссылкам: Лекция на Rutube: rutube.ru/video/8706788af86491bff3413d3da5659d1d/?r=wd Лекция на VK видео: vk.com/video-204135333_456239232
В примере : Теперь реализуем padding, используя инструменты библиотеки PyTorch, и сравним его с ручным добавлением padding: RuntimeError: Given groups=1, weight of size [1, 1, 3, 3], expected input[1, 3, 32, 32] to have 1 channels, but got 3 channels instead Действительно предыдущий шейп img Original shape: torch.Size([1, 3, 32, 32])
Здравствуйте! Воспроизвести возникшую у вас ошибку в блокноте, который приложен по ссылке в описании, не удалось. Пожалуйста, попробуйте запустить блокнот с самого начала повторно, предварительно перезагрузив среду. Рекомендуем запускать наши блокноты либо в режиме "Выполнить все" ("Run all"), либо выполняя ячейку за ячейкой по порядку от начала до конца блокнота. Если у вас останутся трудности при использовании наших материалов, пожалуйста, обращайтесь!
Спасибо!
Благодарим за комментарий!
Colab выдает ошибку W = np.loadtxt("lc_cifar10_weights.txt") # load weigths, shape (3073, 10) ValueError: the number of columns changed from 10 to 9 at row 1719; use `usecols` to select a subset and avoid this error
Здравствуйте! Воспроизвести возникшую у вас ошибку в блокноте, который приложен по ссылке в описании, не удалось. Пожалуйста, попробуйте запустить блокнот с самого начала повторно. Рекомендуем запускать наши блокноты либо в режиме "Выполнить все" ("Run all"), либо выполняя ячейку за ячейкой по порядку от начала до конца блокнота. Если у вас останутся трудности при использовании наших материалов, пожалуйста, обращайтесь!
Огромное спасибо за курс!
Рады стараться! Благодарим за комментарий
Полное видео смотрите по ссылке: th-cam.com/video/VVCFX6Y07SQ/w-d-xo.html
Полное видео смотрите по ссылке: th-cam.com/video/VVCFX6Y07SQ/w-d-xo.html
Полное видео смотрите по ссылке: th-cam.com/video/VVCFX6Y07SQ/w-d-xo.html
Полное видео смотрите по ссылке: th-cam.com/video/VVCFX6Y07SQ/w-d-xo.html
а че было так просто, просто, а потом как бахнуло 🤯
Полное видео смотрите по ссылке: th-cam.com/video/VVCFX6Y07SQ/w-d-xo.html
Полное видео смотрите по ссылке: th-cam.com/video/VVCFX6Y07SQ/w-d-xo.html
Полное видео смотрите по ссылке: th-cam.com/video/VVCFX6Y07SQ/w-d-xo.html
Прикольно, весело, интересно, спасибо
Благодарим!
Полное видео смотрите по ссылке: th-cam.com/video/VVCFX6Y07SQ/w-d-xo.html
Полное видео смотрите по ссылке: th-cam.com/video/VVCFX6Y07SQ/w-d-xo.html
Полное видео смотрите по ссылке: th-cam.com/video/VVCFX6Y07SQ/w-d-xo.html
Классная лекция! Bias'ы вообще одна из самых любимых тем в ML
Благодарим за комментарий!
Очень круто! Ваша деятельность заслуживает большой похвалы и уважения!
Благодарим за положительную оценку!
норм
Отличная лекция
Благодарим за положительный комментарий!
спасибо за доклад!
Благодарим!
А в какую сторону смотреть если нужно не сгенерировать изображение с нуля, а восстановить часть готового изображения (ретушь фото, inpainting)?
Задача, о которой вы спрашиваете - img2img задача. В контексте диффузионных моделей чаще всего решаются задачи в которых входное изображение используется как источник дополнительного контекста для генерации. Вот тут есть примеры кода: huggingface.co/docs/diffusers/using-diffusers/img2img По ретуши фото: зависит от задачи. Для повышения качества изображения (задача Super Resolution) можно посмотреть на модели на основе GAN, например github.com/xinntao/Real-ESRGAN Для восстановления цвета и улучшения качества старых изображений github.com/jantic/DeOldify По задаче inpainting можно посмотреть на DeepFill модели: github.com/JiahuiYu/generative_inpainting и на Lama (она тяжелая) github.com/advimman/lama
Также дополним, что восстанавливать пропавшие части на изображении естественно могут негауссовы диффузные модели. Про это есть классическая статья о "холодной диффузии" arxiv.org/abs/2208.09392
@@MSU_AI Спасибо за примеры. Теперь хоть стало более понятно куда копать. Просто во всем интернете похоже нет нормального примера с объяснением что и зачем делаем. Но теперь хоть примеры кода есть...
МГУ веников не вяжет. Фирма! Рекомендовал ролик своим студентам.
Благодарим за распространение!
Полное видео смотрите по ссылке: th-cam.com/video/RJh05AQApds/w-d-xo.html
Полное видео смотрите по ссылке: th-cam.com/video/RJh05AQApds/w-d-xo.html
Что вы создали за последние 60 лет? В наши дни повсюду есть эксперты.
Ура ! За ультразвуковой лоботомией будущее ! ))
Благодарим за положительный комментарий!
Полное видео смотрите по ссылке: th-cam.com/video/RJh05AQApds/w-d-xo.html
Спасибо за подробный разбор
Благодарим!
судя по названиям BCI и SVM - это технологии, которые уже придуманы и разработаны кем-то. Кто досмотрел до конца - тут есть что-нибудь авторское и уникальное? или это просто попытка создать "свою алису" из уже готовой Сири?
Главной уникальной составляющей данной работы была попытка объединить данные ЭЭГ и ЭМГ с целью улучшения качества классификации мысленно проговариваемых фонем на русском языке
Полное видео смотрите по ссылке: th-cam.com/video/RJh05AQApds/w-d-xo.html
Полное видео смотрите по ссылке: th-cam.com/video/RJh05AQApds/w-d-xo.html
Очень интересный эфир! Вчера я скачала приложение "Про родинки" и за 300 р врач дала мне консультацию по фото, которое я загрузила. Не останавливайтесь, пожалуйста, в своей работе 🙏
Благодарим!
Полное видео смотрите по ссылке: th-cam.com/video/RJh05AQApds/w-d-xo.html
Полное видео смотрите по ссылке: th-cam.com/video/RJh05AQApds/w-d-xo.html
Перечислите, пожалуйста, какие сейчас мультимодальные нейронные сети новые штук 5
Ваш вопрос требует уточнений. Достаточно современный обзор мультимодальных подходов в глубоком обучении можно получить в статье arxiv.org/abs/2301.04856
Смотри полный выпуск по ссылке: th-cam.com/video/RJh05AQApds/w-d-xo.html