Вышла новая часть - Файнтюнинг и квантизация Llama-3-70B th-cam.com/video/ML4M1UQHxbU/w-d-xo.html Я обучил самую большую пока Ламу на мультиязычном датасете, и она начала следовать инструкциям на русском. А также я показал процесс квантизации модели с сохранением в формат gguf.
Честно говоря я ожидал большего. В начале видоса был радостный возглас: "наконец-то мы получили модель сопоставимую по качеству с GPT-4"!!! Речь шла конечно о Llama-3-70b И потом автор с покер-фейсом просто берёт для своего фантюнинга модель Llama-3-8b-4bit. То есть не только модель в на порядок меньше так ещё и квантизованую по самое нибалуйся. Я ожидал увидеть процесс обучения 70b квантизованой до 8 бит модели на A100 GPU камне и понять примерно сколько времени это может занять. И дообучать чему-то полезному например вопросам и ответам на русском языке. В этом видосе кстати сам процесс обучения скипнут хотя это самое интересное можно было показать минуту начала и минуту конца. Просто так скипать весь процесс это не правильно потому что ради этого процесса все эти подготовительные танцы с бубном и проделывались.
Согласен. Тоже хотелось бы увидеть работу с моделью 70B и обучение на русском датасете, потому что инференс на русском языке у llama 3 из коробки местами весьма корявенький (по крайней мере, то, что я увидел на 8B). Если аренда ресурсов под обучение 70B окажется довольно дорогой по стоимости, то показать хотя бы расчеты и минимально необходимые ресурсы для запуска. В любом случае, ролик полезен и автору спасибо за то, что делится знаниями! Квантизацию и конвертацию в GGUF тоже ждем.
Оставлю здесь для истории ответ на вопрос "время дообучения 70b на одной А100 три эпохи" - около 5 дней (взято из следующего видео на канале). Время также зависит от кода обучалки, объема докидываемой информации и прочего железа, но уже можно прикинуть порядок чисел для своего компа. Ну или стоимость аренды.
Было бы ещё Здорово эту модель залить на хостинг через фласк или Джанго чтобы она там отвечала на вопросы,(конечно в закрытом режиме для безопасности) также было бы интересно посмотреть как реализовывается Telegram бот с её помощью, конечно после того как квантизация будет сделана. Думаю что это были бы очень ценные ролики для многих.
Этоочень инетресное видео как и следующая тема, котороую мы будем очень сильно ждать!! ПРодолжай пожалуйста, очень не хватает информации подобной на рускоязычной части Ютуб
Квантизация очень интересна! И не сколько для мобильных устройств, сколько запуск тяжёлых моделей (70-30B) на 24Gb видеокартах, Tesla P40, например. Запуск на нескольких видеокартах, оптимизация под разные архитектуры...
Вот это контент) Только я почти ничего не понимаю. Например, я хочу обучить, что б она кодила. Что нужно? Какие то примеры из гит хаб, или простые функции?
Интересно! И ещё полную подготовку датасета для обучения. А если обучить на своём датасете по определённому домену, насколько хорошо она будет отвечать по этому домену без подгрузки контекста
Добрый день! Было бы очень интересно как вы конвертируете модель в формат для TensorRT и запускаете её, собственно на TensorRT. Особенно интересно было бы измерить прирост в скорости.
А можно ли на том сервисе дообученную модель загрузить потом не на Hugging Face, а к себе на комп? В Гугл коллабе вроде можно так сделать через гугл диск. И можно ли свой датасет сделать из текстовых файлов (книжек)?
Первое предложение автору. Если тебе не хватает денег на те или иные эксперименты, то предлагаю делать краудфандинг. Можно прям тут на ютубе - типа хотите посмотреть на файн-тюнинг и квантизацию llama 3 70b - скидывайте бабосы
Здравствуйте! Подскажите пожалуйста, какая лучше модель llm подойдет для задачи вытаскивания из текста названия книги, автора, года и издательства. Текст подается в промте, но он с ошибками и неточностями, так как распознается по фото книги моделью ocr)
Да, было бы интересно. Так же было бы интересно стоимости на подобные обучения. и цены на развертывание обученных моделей. к примеру Llama3 8B и Llama3 70B в какую сумму влетит если развернуть на данном сервисе? Заранее спасибо!
Можешь показать, как сделать автономный, эффективный переводчик (чем больше языков, тем лучше, но для начала русский- английский хватило бы)? Какую модель лучше использовать и как?
Привет 👋 было бы круто если бы она в конце ответа не как обычно говорила бы чем ещё помочь а сначала бы предложила свой собственный вопрос для продления темы которая рассказывала только что, что бы вопрос её был на столько интересным от которого не возможно было-бы удержатся и сказать ей , да я хочу знать ответ на этот вопрос , тем самым она могла бы затягивать общение все глубже и обширней в той теме которая началась из начально !)
Как обучить whisper? Нигде не могу найти видео на эту тему. Мне постоянно необходимо расшифровывать аудиозаписи в текст. Необученный whisper плохо работает с русским языком. Хотелось бы допилить модель, но не знаю как.
Было бы интересно получить инструкцию по дообучения на своих данных. Например у меня есть excel таблица с данными, скормили эту таблицу LLM, а она после отвечает по таблице. Такое возможно?
Это возможно и уже реализовано в некоторых сервисах на основе LLM. Думаю они для этого могут не дообучать исходную модель, а конвертировать данные в векторную форму и хранить в векторной базе данных. Сервис, получая запрос пользователя, выполняет поиск в базе данных и передаёт близкие по смыслу вложения в качестве подсказки модели. На основе запроса, подсказки и собственных данных, модель формирует ответ.
Я так и не понял, что такое Fine Tuning - это обучение на НОВЫХ данных, то есть к примеру о рассеянии света в атмосфере или просто примеры, как отвечать. Из видео ни черта не понятно.
Вышла новая часть - Файнтюнинг и квантизация Llama-3-70B th-cam.com/video/ML4M1UQHxbU/w-d-xo.html
Я обучил самую большую пока Ламу на мультиязычном датасете, и она начала следовать инструкциям на русском.
А также я показал процесс квантизации модели с сохранением в формат gguf.
Честно говоря я ожидал большего. В начале видоса был радостный возглас: "наконец-то мы получили модель сопоставимую по качеству с GPT-4"!!! Речь шла конечно о Llama-3-70b И потом автор с покер-фейсом просто берёт для своего фантюнинга модель Llama-3-8b-4bit. То есть не только модель в на порядок меньше так ещё и квантизованую по самое нибалуйся. Я ожидал увидеть процесс обучения 70b квантизованой до 8 бит модели на A100 GPU камне и понять примерно сколько времени это может занять. И дообучать чему-то полезному например вопросам и ответам на русском языке. В этом видосе кстати сам процесс обучения скипнут хотя это самое интересное можно было показать минуту начала и минуту конца. Просто так скипать весь процесс это не правильно потому что ради этого процесса все эти подготовительные танцы с бубном и проделывались.
Согласен. Тоже хотелось бы увидеть работу с моделью 70B и обучение на русском датасете, потому что инференс на русском языке у llama 3 из коробки местами весьма корявенький (по крайней мере, то, что я увидел на 8B). Если аренда ресурсов под обучение 70B окажется довольно дорогой по стоимости, то показать хотя бы расчеты и минимально необходимые ресурсы для запуска.
В любом случае, ролик полезен и автору спасибо за то, что делится знаниями! Квантизацию и конвертацию в GGUF тоже ждем.
Оставлю здесь для истории ответ на вопрос "время дообучения 70b на одной А100 три эпохи" - около 5 дней (взято из следующего видео на канале).
Время также зависит от кода обучалки, объема докидываемой информации и прочего железа, но уже можно прикинуть порядок чисел для своего компа. Ну или стоимость аренды.
Квантизацию модели с последующей конвертацией в GGUF поддерживаю.
Спасибо большое за ролик. Было бы здорово увидеть ролик про квантизацию и разбор Вашей библиотеки.
Было бы ещё Здорово эту модель залить на хостинг через фласк или Джанго чтобы она там отвечала на вопросы,(конечно в закрытом режиме для безопасности) также было бы интересно посмотреть как реализовывается Telegram бот с её помощью, конечно после того как квантизация будет сделана. Думаю что это были бы очень ценные ролики для многих.
Да это интересно. Спасибо за Вашу работу.
Квантизацию модели с последующей конвертацией в GGUF поддерживаю!
Этоочень инетресное видео как и следующая тема, котороую мы будем очень сильно ждать!! ПРодолжай пожалуйста, очень не хватает информации подобной на рускоязычной части Ютуб
Хорошее видео, спасибо! Интересно увидеть продолжение видео.
Все чаще охота услышать шаг за шагом обучение нейронки добавление новых данных, как это работает и прочее.
Это очень интересно спасибо
Квантизация очень интересна! И не сколько для мобильных устройств, сколько запуск тяжёлых моделей (70-30B) на 24Gb видеокартах, Tesla P40, например. Запуск на нескольких видеокартах, оптимизация под разные архитектуры...
Да. Очень интересно! Продолжи пожалуйста по квантизацию и создание gguf
Вот это контент) Только я почти ничего не понимаю. Например, я хочу обучить, что б она кодила. Что нужно? Какие то примеры из гит хаб, или простые функции?
Спасибо за видео. Да, интерересно было бы продолжение с получением gguf
Интересно! И ещё полную подготовку датасета для обучения.
А если обучить на своём датасете по определённому домену, насколько хорошо она будет отвечать по этому домену без подгрузки контекста
Добрый день! Было бы очень интересно как вы конвертируете модель в формат для TensorRT и запускаете её, собственно на TensorRT. Особенно интересно было бы измерить прирост в скорости.
А можно ли на том сервисе дообученную модель загрузить потом не на Hugging Face, а к себе на комп? В Гугл коллабе вроде можно так сделать через гугл диск. И можно ли свой датасет сделать из текстовых файлов (книжек)?
Спасибо, очень интересно. Квантизацию поддерживаю. Интересно познакомиться поближе с библиотекой.
Мужик спасибо. Давно хотел что-то подобное 🔥
а что можно обучить на локальном компьютере? chatgpt предлагает использовать Bert для обучение своего ассистента. Можете ли подобное разобрать?
Привет! Спасибо за видео! Чем вы генерировали голос?
спасибо. это нужное видео
Первое предложение автору. Если тебе не хватает денег на те или иные эксперименты, то предлагаю делать краудфандинг. Можно прям тут на ютубе - типа хотите посмотреть на файн-тюнинг и квантизацию llama 3 70b - скидывайте бабосы
Сколько ресурсов ест в процессе обучения, и сколько когда модель готова . Есть метрики?
Интересно, продолжай в том же духе 👍
Отличное видео, спасибо!Можете подсказать какие ещё есть популярные датасеты для файнтюнинга кроме Саманты и их предназначение
Dolphin - uncensored датасет от того же разработчика. В целом много чего есть на HF
Здравствуйте! Подскажите пожалуйста, какая лучше модель llm подойдет для задачи вытаскивания из текста названия книги, автора, года и издательства. Текст подается в промте, но он с ошибками и неточностями, так как распознается по фото книги моделью ocr)
можно поискать на Huggingface модели для задач Named Entity Recognition. Но вообще любая LLM уровня GPT-3.5 и выше для этого подойдет
Я вот только не понял зачем ваш спонсор предлагает покупать 3090 за потинник в месяц?
как сделать чтобы задавать вопросы голосом и получать ответы голосом ?
Всё интересно, квантизация тоже, но также интересует дообучение модели и практические рекомендации по сбору хорошего датасета для русского языка
Да , интересно
Да, было бы интересно. Так же было бы интересно стоимости на подобные обучения. и цены на развертывание обученных моделей. к примеру Llama3 8B и Llama3 70B в какую сумму влетит если развернуть на данном сервисе?
Заранее спасибо!
Было бы интересно про метрики и сравнение качества моделей, а то на глаз такое себе. Вдруг при обучении она позабыла все.
Такъ какую кнопку мнѣ нажать? )
Можешь показать, как сделать автономный, эффективный переводчик (чем больше языков, тем лучше, но для начала русский- английский хватило бы)? Какую модель лучше использовать и как?
Привет 👋 было бы круто если бы она в конце ответа не как обычно говорила бы чем ещё помочь а сначала бы предложила свой собственный вопрос для продления темы которая рассказывала только что, что бы вопрос её был на столько интересным от которого не возможно было-бы удержатся и сказать ей , да я хочу знать ответ на этот вопрос , тем самым она могла бы затягивать общение все глубже и обширней в той теме которая началась из начально !)
Как обучить whisper? Нигде не могу найти видео на эту тему. Мне постоянно необходимо расшифровывать аудиозаписи в текст. Необученный whisper плохо работает с русским языком. Хотелось бы допилить модель, но не знаю как.
попробуй Silero она лучше русский распознаёт
на HF в разделе automatic speech recognition есть файнтюнинг-версии whisper, некоторые с кодом
Было бы интересно получить инструкцию по дообучения на своих данных. Например у меня есть excel таблица с данными, скормили эту таблицу LLM, а она после отвечает по таблице. Такое возможно?
Это возможно и уже реализовано в некоторых сервисах на основе LLM. Думаю они для этого могут не дообучать исходную модель, а конвертировать данные в векторную форму и хранить в векторной базе данных. Сервис, получая запрос пользователя, выполняет поиск в базе данных и передаёт близкие по смыслу вложения в качестве подсказки модели. На основе запроса, подсказки и собственных данных, модель формирует ответ.
да хотим увидеть квантилизацию
Добрый день а вашу модель можно скачать и потестить на мак ос в ml studio?
Там как раз вроде бы guff если не ошибаюсь
Следующее видео про квантизацию, файл gguf из него - на моем Huggingface
@@ruslandev спасиб
Интересно запустить инференс на чем-нибудь вроде Raspberry pi
Так, дуже цікаво!
Я так и не понял, что такое Fine Tuning - это обучение на НОВЫХ данных, то есть к примеру о рассеянии света в атмосфере или просто примеры, как отвечать. Из видео ни черта не понятно.
привет,
hi, it's not clear. This is probably an advertisement for those in the know.нихера непонятно. Наверно это реклама или что?
Квантизацию модели с последующей конвертацией в GGUF поддерживаю.