- 51
- 52 225
DeepSchool
เข้าร่วมเมื่อ 29 ต.ค. 2020
Канал школы DeepSchool.
Подписывайтесь на Телеграм-канал DeepSchool: t.me/+UoPLgCpfC7Q3NmIy
Здесь мы будем делиться советами по обучению нейросетей, обзорами фреймворков и библиотек, а также выкладывать записи наших вебинаров.
Подписывайтесь на канал, чтобы развиваться в ML/DL вместе!
Подписывайтесь на Телеграм-канал DeepSchool: t.me/+UoPLgCpfC7Q3NmIy
Здесь мы будем делиться советами по обучению нейросетей, обзорами фреймворков и библиотек, а также выкладывать записи наших вебинаров.
Подписывайтесь на канал, чтобы развиваться в ML/DL вместе!
LLM. Илья Димов | Под Капотом
Записывайтесь на курс по LLM: deepschool.ru/llm?
Мы приглашаем в подкаст экспертов из различных областей, чтобы понять, как работают сложные системы изнутри. В этом выпуске мы говорили с Ильей Димовым, Senior NLP-инженером, о том, как сделать идеальную LLM под свои нужды и как они устроены внутри.
Присылайте ваши вопросы нам на почту: hello@deepschool.ru
Наш телеграм, в котором мы напоминаем теорию и делимся советами по обучению нейросетей: t.me/deep_school
Мы в linkedin: www.linkedin.com/school/deep-school
Подписывайтесь, чтобы развиваться в ML и DL вместе!
00:00:00 | Вступление
00:01:55 | Как Илья попал в мир LLM
00:07:45 | Создаём модель, которая избавит вас от депрессии
00:14:41 | Сводим модель общего назначения к выполнению частной задачи - учим её общаться как друга
00:16:23 | Как научить модель решать другие задачи
00:27:59 | Как LLM помогают лингвистам переводить малочисленные языки
00:30:33 | Что такое агенты и будут ли они править миром?
00:38:08 | Инструменты, которыми может пользоваться модель
00:41:36 | Как модель применяет функции компьютера, чтобы решать свои задачи
00:46:26 | Какие задачи решаются с помощью памяти LLM
00:56:23 | Как научить языковую модель видеть, добавив в неё модальность?
01:12:21 | Что будет после того, как мы достигнем лимит текстов для обучения модели?
01:21:10 | Топ лучших моделей по мнению Ильи
01:31:56 | Заключение
Мы приглашаем в подкаст экспертов из различных областей, чтобы понять, как работают сложные системы изнутри. В этом выпуске мы говорили с Ильей Димовым, Senior NLP-инженером, о том, как сделать идеальную LLM под свои нужды и как они устроены внутри.
Присылайте ваши вопросы нам на почту: hello@deepschool.ru
Наш телеграм, в котором мы напоминаем теорию и делимся советами по обучению нейросетей: t.me/deep_school
Мы в linkedin: www.linkedin.com/school/deep-school
Подписывайтесь, чтобы развиваться в ML и DL вместе!
00:00:00 | Вступление
00:01:55 | Как Илья попал в мир LLM
00:07:45 | Создаём модель, которая избавит вас от депрессии
00:14:41 | Сводим модель общего назначения к выполнению частной задачи - учим её общаться как друга
00:16:23 | Как научить модель решать другие задачи
00:27:59 | Как LLM помогают лингвистам переводить малочисленные языки
00:30:33 | Что такое агенты и будут ли они править миром?
00:38:08 | Инструменты, которыми может пользоваться модель
00:41:36 | Как модель применяет функции компьютера, чтобы решать свои задачи
00:46:26 | Какие задачи решаются с помощью памяти LLM
00:56:23 | Как научить языковую модель видеть, добавив в неё модальность?
01:12:21 | Что будет после того, как мы достигнем лимит текстов для обучения модели?
01:21:10 | Топ лучших моделей по мнению Ильи
01:31:56 | Заключение
มุมมอง: 449
วีดีโอ
Pytest: от моков к docker compose
มุมมอง 4092 หลายเดือนก่อน
В DeepSchool мы повышаем квалификацию DL-инженеров: deepschool.ru/? Присоединяйтесь к курсу "Деплой DL-сервисов": deepschool.ru/deploy? Написать тест на простую функцию, которая ни от чего не зависит - одно удовольствие. Говорим, какие входы, какие выходы ... profit. Но как быть, если вы хотите протестировать функционал, который зависит от внешних сервисов? Ходить в production-базу во время тес...
Тимлидство и хакатоны. Валентин Мамедов | Под Капотом
มุมมอง 3332 หลายเดือนก่อน
В DeepSchool мы повышаем квалификацию DL-инженеров: deepschool.ru/? Записывайтесь на курс по LLM: deepschool.ru/llm? Мы приглашаем в подкаст экспертов, чтобы понять, как работают сложные системы изнутри. В этом выпуске к нам пришёл Валя Мамедов, LLM-инженер из SberDevices. Телеграм Вали: @vltnmmdv. В первой части мы поговорили про LLM: th-cam.com/video/fy1-ffagRe0/w-d-xo.htmlsi=7K6SrjBwMXPGdnec...
Гессиан, или методы второго порядка в численной оптимизации
มุมมอง 3022 หลายเดือนก่อน
В DeepSchool мы повышаем квалификацию DL-инженеров: deepschool.ru/? Наш курс "Ракета в Computer Vision": deepschool.ru/cvrocket? Методы второго порядка используют вторые производные функции потерь. Важный элемент этих методов - гессиан. Он и является второй производной по параметрам модели. Главная проблема гессиана - его долго считать. Учёные придумали различные методы для его аппроксимации, ч...
Спасаемся от самокатов при помощи Computer Vision | Релиз на салфетке
มุมมอง 3393 หลายเดือนก่อน
В DeepSchool мы повышаем квалификацию DL-инженеров: deepschool.ru/? Наш курс "Ракета в Computer Vision": deepschool.ru/cvrocket? В «Релизе на салфетке» мы решаем забавную задачку, как продуктовую, но без сроков, рамок и коммитментов. 😉 В этом выпуске мы спасались от самокатчиков, которые врезаются в прохожих. Начали с советов «да приклей зеркала и ходи-посматривай», а закончили ключевыми точкам...
Решаем LeetCode | Модульная арифметика
มุมมอง 3864 หลายเดือนก่อน
В этом видео Игорь Ильин разбирает задачу на модульную арифметику уровня medium. Игорь - Sr. CV-инженер в Kudan SLAM и спикер курса 3D CV. Прошли путь от наивного решения, которое работает за O(n^2) до оптимального, которое работает за линию по времени. Обсудили структуры данных и сложность операций над ними, чем плоха рекурсия и когда можно от неё избавиться. Это видео школы DeepSchool, мы пов...
Fine-tuning, RAG, Llama, prompt-engineering, LLM-арены | Что происходит в LLM
มุมมอง 9K5 หลายเดือนก่อน
Записывайтесь на курс по LLM: deepschool.ru/llm?! Если вы проспали бум вокруг LLM и хотите разобраться, что сейчас в них происходит простыми словами, от инженера инженеру, мы подготовили для вас видео! 00:00:00 | Что такое LLM и как их используют 00:02:00 | Как сделать своего ассистента дома: модели и дообучение 00:04:20 | Веб-интерфейсы и видеопамять для обучения и обученные модели 00:05:20 | ...
LLM. Валентин Мамедов | Под Капотом
มุมมอง 3.3K5 หลายเดือนก่อน
#largelanguagemodels #llm #deeplearning #career #nlp #ai Записывайтесь на курс по LLM: deepschool.ru/llm? Мы приглашаем в подкаст экспертов из различных областей, чтобы понять, как работают сложные системы изнутри. В этом выпуске мы говорили с Валей Мамедовым, инженером из SberDevices, про LLM. Телеграм Вали: @vltnmmdv. Ещё мы упоминали: Канал Янника: th-cam.com/users/yannickilcher Ollama: olla...
11 вопросов CTO про ускорение нейросетей
มุมมอง 5735 หลายเดือนก่อน
Присоединяйся к курсу «Ускорение нейросетей»: deepschool.ru/speedup? Хэдлайнер нашего курса ответил на разные вопросы, связанные с ускорением нейросетей. Почему нельзя просто взять маленькую модель? Не скучно ли ускорять модели? А можно сделать NAS NMS на NPU? #computervision #deeplearning #datascience #career
Используй VGG в 2024 | Вредные советы в Data Science
มุมมอง 1.1K6 หลายเดือนก่อน
Используй VGG в 2024 | Вредные советы в Data Science
Решаем проблемы белок с помощью Computer Vision | Релиз на салфетке
มุมมอง 1K6 หลายเดือนก่อน
Решаем проблемы белок с помощью Computer Vision | Релиз на салфетке
Edge Inference | Антон Мальцев | Лекция DeepSchool
มุมมอง 1.1K6 หลายเดือนก่อน
Edge Inference | Антон Мальцев | Лекция DeepSchool
Генеративный Computer Vision. Кирам Аль-Харба | Под Капотом
มุมมอง 1.6K7 หลายเดือนก่อน
Генеративный Computer Vision. Кирам Аль-Харба | Под Капотом
Под Капотом | Игорь Ильин: будущее, work-life-balance, нетворкинг. Часть 2/2
มุมมอง 6468 หลายเดือนก่อน
Под Капотом | Игорь Ильин: будущее, work-life-balance, нетворкинг. Часть 2/2
Кухонная академия: научники, статьи и нейронки в играх
มุมมอง 4688 หลายเดือนก่อน
Кухонная академия: научники, статьи и нейронки в играх
Под Капотом | Игорь Ильин о мире 3D CV, SLAM и лидарах. Часть 1
มุมมอง 1.6K8 หลายเดือนก่อน
Под Капотом | Игорь Ильин о мире 3D CV, SLAM и лидарах. Часть 1
Своя Игра ML/DL. Выпуск 2: Игорь Ильин, Ренат Баширов, Дима Чудаков
มุมมอง 674ปีที่แล้ว
Своя Игра ML/DL. Выпуск 2: Игорь Ильин, Ренат Баширов, Дима Чудаков
Своя Игра ML/DL. Выпуск 1: Дима Чудаков, Андрей Шадриков, Оля Гребенькова
มุมมอง 1.3Kปีที่แล้ว
Своя Игра ML/DL. Выпуск 1: Дима Чудаков, Андрей Шадриков, Оля Гребенькова
Обзор архитектуры Detection Transformer (DETR)
มุมมอง 1.8Kปีที่แล้ว
Обзор архитектуры Detection Transformer (DETR)
Валидация данных на Python при помощи Pydantic
มุมมอง 1.8Kปีที่แล้ว
Валидация данных на Python при помощи Pydantic
NeRF: Neural Radiance Fields. Два NeRF-a, чтобы править всем 3D
มุมมอง 844ปีที่แล้ว
NeRF: Neural Radiance Fields. Два NeRF-a, чтобы править всем 3D
Ускорение инференса: фьюзинг и дистилляция
มุมมอง 9822 ปีที่แล้ว
Ускорение инференса: фьюзинг и дистилляция
Залгался, про отечественный npu. Вы же не обладаете технологией
Я думал, что 4 ребус это обучение с учителем
LLM всегда предсказывает следующий токен
Оченьк коротко и очень по делу! Благодарочка!
видео вода и мусор, картинки - ты бы сел у консоли и всё бы проделал сам, не ебя мозги нам 14 минут, просто говорящая голова которая в нейросетях нихуя не петрит от слова совсем.
th-cam.com/video/sbMzUOXcyWw/w-d-xo.htmlsi=cdafvuNBMpHBxjfk&t=736 а ссылку на эту байду нахуя зажилил?
Кайф, а можно ссылочку на гитхаб?)
Эта вторая моделька, которая цензурирует, обходится на раз-два. Сначала учишь основную модель шифровать информацию, потом общаешься шифровками и модель-сторож ничего не понимает. Подкаст очень интересный 👍🏻 спасибо 🫶🏻
нельзя одушевлять инструменты
Как дообучить модель в оффлайне?
❤
Спасибо за видео. А как все эти методы борятся с попаданием а локальный минимум? Мы же ищём глобальный.
По-настоящему глобальных методов в нелинейной оптимизации нет. Большинство методов локальные, и часто мы довольны, когда находим хороший локальный минимум. Среди рассмотренных методов методы нулевого порядка - наиболее глобальные, потому что они семплируют множества точек в пространстве параметров. Так мы примерно понимаем, где находится (или может находиться) хороший локальный минимум. Аналогично для методов первого и второго порядков - мы можем задавать множество разных инициализаций и выбирать из них ту, у которой лосс минимальный. Однако это приведёт к тому, что нам нужно будет решать несколько задач оптимизации.
А где цены на курс?
Запись на курс мы открываем за несколько недель до старта, тогда же публикуем изменения в программе и цены. Вы можете оставить свои контакты в анкете предзаписи deepschool.ru/llm - чтобы мы сообщили вам о новом потоке и условиях в первую очередь :)
Супер. Благодарность до 7го неба ) А скажи , просто оч интересно , какая у тебя профильная деятельность ? чем ты занимаешься в основном ?
Илья занимается обучением различных LLM-моделей, любит распределённое обучение и нейросети, еще Илье очень нравится рассказывать об этом студентам)
Ксиати ориентацию самокатчика было бы норм определять)
2 вопроса: 1 как вы увидите заднее колесо для трекинга у наезжающего сзади самоката? 2 если самокат виден под углом, а вы хотите считать расстояние по размеру квадрата в котором самокат, как вы отличите отличите 2 случая: самокат под углом и далеко или он едет прямо на вас и уже рядом?
Классный формат. Тут можно оставить свой вопрос для разбора на следующую салфетку?
Пусть они прототип этого лучше сделают
Можно написать сюда, либо нам на почту hello@deepschool.ru :)
А прототип будет?
Спасибо!!!
Спасибо, очень интересно! Такой вопрос, можно ли загрузить в нейронку 20 документов с ГОСТами и суммировать информацию по конкретной ситуации? Куда копать?
в RAG
Пацаны, видос прикольный. Мне интересно. Вот бы перевод в сабах, ну, штоп не паузить каждую секунду и не идти в переводчик. Ну, или ссылку скиньте на нейронку, которая бы вас переводила в потоке на общедоступный великий и могучий😊
Сколько мучений. Оно то конечно интересно но отвлекает. Как говорится сапожник без сапог. Хотя я вообще видео не делаю потому что вот из-за этого. Всё никак не найду бесплатного диктора с искусственным интеллектом желательно чтобы говорил моим голосом. Ну это опять же надо обучать. Кстати этот текст в комментарии я тоже говорю. Но это уже другая технология. Речь в текст. В принципе уже давно есть и текст в речь Тоже давно пользуюсь. Но многим режет слух Голос робота. Хотя сейчас вроде уже и голоса есть хорошие. Более того есть сервисы на базе того же искусственного интеллекта Которые видеоряд подбирают. А то тема сложная не всё понятно.
У меня 2080 super и 32 гб памяти, какую модель смогу запустить? так чтоб не фигня была, а чтото умела
Gemma2 - 8b?
У меня вообще видеокарты нет, сервер dell r430 с одним слабым xeon процом, ну и апиративы 64 стоит последняя лама от Nvidia, всё работает , но медленно , сообщение может минут 10 писать, у тебя на GPU будет в разы быстрей @@daniyarkalmanbetov7271
поставь LM Studio и проверь, что религия не позволяет?
Главное максимально быстро жать на кнопку
27:00 это с каких это пор в fp16 или bf16 нельзя тренировать модели? А третью лламу в какой точности учили?
Спасибо за вопрос! Там в основном используют mixed precision «Чистая» тренировка в фп16/бф16 в целом норм для небольшого тюна. Но претрейны получаются значительно слабее, чем с использованием смешанной точности
как же заработать на макбук
спасибо! такое милое видео! звучит очень интересно, надеюсь получиться записаться на ваш курс
Спасибо! Будем рады видеть вас на курсе)
Расскажите плз, как можно слить 2 LLM в 1, если есть необходимость объединить знания обеих моделей и получить гибрид)
Есть хороший блогпост на эту тему huggingface.co/blog/mlabonne/merge-models Сливают обычно модели одной и той же архитектуры, например вариации того же Mixtral-8x7b. Делается это зачастую линейной интерполяцией весов между двумя моделями с различными параметрами. Есть различные инструменты - какие-то требуют задать параметры руками, какие-то пытаются откалибровать эти параметры проходом по датасету. В некоторых merged (слитых) моделях авторы пишут, каким подходом и какие модели они объединяли, например huggingface.co/vicgalle/Merge-Mixtral-Prometheus-8x7B Список инструментов (не полный): github.com/Gryphe/BlockMerge_Gradient github.com/arcee-ai/mergekit github.com/Gryphe/MergeMonster
@@deep_school Супер) А есть способ выжать из модели полный датасет, на которой она обучалась?
Пни если ответят плиз @@internetnickname8923
Срастбо.
ролик в духе "скелетон" )
Симп Валентин
Ценнейшая информация, с удовольствием посмотрел. Жду продолжения!!
Спасибо! Готовим вторую часть :)
Спасибо, очень насыщенно и понятно. Картинки от души 😄
Интересно
Очень интересно, но гость похож не ленивца из зверополиса (без обид)
Очень полезный формат, продолжайте!
Спасибо! Уже отсняли второй выпуск 😉
Подкаст огонь, с удовольствием послушал. Записывайте обязательно еще, хоть и мало просмотров, но инфа крайне ценная. Спасибо!
Спасибо! Очень приятно такое читать!)
на 20 минут очень приятное объяснение. спасибо!
Ммм, очень странно конечно хранить данные на своем пк
За трендом тоже не надо гнаться, classical CV сперва возможно надо попробовать и потом уже по возрастанию, вдруг метрики будут на норм уровне
80% слов не понял
почему пользуетесь макбуками а не ноутами с nvidia видеокартами на борту (linux)?
На ноуте часто ничего серьёзного не посчитаешь. Потому что туда влезет одна не оч крутая видюшка, а не серьезный сетап. Поэтому с ноутов просто часто подрубаются к сервакам (которые на линухе) с серьёзным железом и там крутят эксперименты. А ось ноута уже становится не так важна
Марк, пошли пиво пить
И весело и полезно. Классные ребята и формат, спасибо) p.s.: вставки картинки Марка на места стикеров - топ))
Спасибо!
Имхо, ценно смотреть, как профессионалы из твоей области подходят к решению новых для них задач, как мыслят, о каких ограничениях говорят, какие подходы упоминают, какие из них критикуют. Я в таких дискуссиях и себя валидирую (а решал бы я так же?) и новое узнаю.) Круто сделали!
Леонид, спасибо! Такой фидбек заряжает:)
Классный формат! Снимайте еще❤
Спасибо, рады, что понравилось!
Чел хорош! Продолжай!!!
Спасибо, очень интересно!
Отличное видео!