QLoRA: обучал нейросеть 20 ЧАСОВ В GOOGLE COLAB на РУССКОМ ДАТАСЕТЕ. Впечатляет 00:00:00 Обучение чат-бота на домашнем компьютере • Автор рассказывает о возможности обучения чат-бота на домашнем компьютере с использованием Google Colab и графического процессора. • Ранее это было невозможно из-за необходимости больших вычислительных мощностей и использования шестнадцатибитных типов данных. 00:01:08 Метод обучения "Кьюлора" • Кьюлора - эффективный подход для файн-тюнинга, который позволяет обучать модель на небольшом наборе данных, сохраняя качество. • Кьюлора уменьшает потребление памяти и использует четырехбитные типы данных для хранения весов и параметров модели. 00:03:42 Результаты обучения • Автор демонстрирует результаты обучения модели "Гуанако" на русскоязычном датасете. • Несмотря на то, что модель не знает русский язык, она начинает осваивать его и генерировать осмысленные ответы. 00:08:08 Преимущества метода "Кьюлора" • Кьюлора позволяет обучать модели с большим количеством параметров на домашнем компьютере. • При небольшом количестве, но подходящем качестве данных, можно добиться лучших результатов.
QLoRA: обучал нейросеть 20 ЧАСОВ В GOOGLE COLAB на РУССКОМ ДАТАСЕТЕ. Впечатляет
00:00:00 Обучение чат-бота на домашнем компьютере
• Автор рассказывает о возможности обучения чат-бота на домашнем компьютере с использованием Google Colab и графического процессора.
• Ранее это было невозможно из-за необходимости больших вычислительных мощностей и использования шестнадцатибитных типов данных.
00:01:08 Метод обучения "Кьюлора"
• Кьюлора - эффективный подход для файн-тюнинга, который позволяет обучать модель на небольшом наборе данных, сохраняя качество.
• Кьюлора уменьшает потребление памяти и использует четырехбитные типы данных для хранения весов и параметров модели.
00:03:42 Результаты обучения
• Автор демонстрирует результаты обучения модели "Гуанако" на русскоязычном датасете.
• Несмотря на то, что модель не знает русский язык, она начинает осваивать его и генерировать осмысленные ответы.
00:08:08 Преимущества метода "Кьюлора"
• Кьюлора позволяет обучать модели с большим количеством параметров на домашнем компьютере.
• При небольшом количестве, но подходящем качестве данных, можно добиться лучших результатов.
Шалом, чувак! Тема очень интересная и полезная. Спасибо. Добра Тебе и позитива
Огонь, Спасибо! Очень интересно. Оставляю коммент)
Спасибо,здорово👍
Очень классная тема
Мне нравится голос! Такой аристокрктический. 🤵
Какие вы используете инструменты для автоматической оценки качества llm? Делать это в ручную каждый раз не очень эффективно
Добрый день, тоже столкнулся с этим вопросом. Можете подсказать ?
Метрики для NLP)
хорошее видео, спасибо
а как сохранить дообученную модель?
А будет сравнение результата обучения на yandex q и на втором датасэте?
так а за коллаб платить пришлось или нет? во сколько денег встало обучение?
Только за подписку pro+, она даёт больше памяти и доступ к премиум GPU. Стоила 50 долларов в месяц
Спасибо, а можно консультацию купить у Вас и сколько стоить будет?
Заходите в телеграм по ссылке под видео, спрашивайте бесплатно. Отвечу когда смогу
Имеет ли смысл файнтюнить через open-source модели, или лучше не париться и сделаьт finetune через OpenAI API?
файнтюнинг OpenAI не пробовал. Разница думаю в том что при файнтюнинге открытой модели есть полный доступ к весам
Где можно найит ссылку на google colab?
Я начал с вот этого колаба - colab.research.google.com/drive/1VoYNfYDKcKRQRor98Zbf2-9VQTtGJ24k?usp=sharing и дальше модифицировал под свою модель
Звук подлагивает немного, из-за чего так?
При монтаже происходит нежелательное наложение звука при переходах.
+
Что за ужасный микрофон.