Кирилл Колодяжный - Добавляем большую языковую модель (LLM) в приложение на С++ с помощью llama.cpp

Подробнее о конференции C++ Russia: jrg.su/W8skjE
- -
Скачать презентацию с сайта C++ Russia - jrg.su/ISK8AE
Так как про ChatGPT и подобные ему системы рассказали уже много, исследуем альтернативный вариант. Кирилл показал, как использовать инструменты для обработки текста на основе LLM (large language model) на простых компьютерах, будь то ноутбук, ПК или сервер без GPU. Для этого нам не потребуется подключение к интернету, чтобы использовать онлайн API, так как все будет работать локально. Более того, спикер показал, как это сделать на С++, не используя другие языки (или почти не используя). Он рассказал о наборе утилит и библиотек llama.cpp и их интеграции в свое приложение для использования современных LLM-моделей.
Что такое квантование и как оно помогает уместить LLM в оперативную память ПК. Как решить проблемы интеграции llama.cpp в приложение. Базовая математическая библиотека GGML и пример использования не только для реализации LLaMA, но и модели BERT. Как решить проблемы токенизации русского языка с использованием библиотеки ICU.
Используем веса русскоязычных моделей LLaMA 2 и BERT и с их помощью учимся обобщать и сравнивать по смыслу сообщения из Telegram-каналов, чтобы формировать новостную картину.
#CPP #LLM

[@ДмитрийЗахаров-д6ж]

Про подбор помощи - это прям в точку)

[@GrowHobbyRU]

Не собирается... инструкция не достаточно детальная для меня. Но Llama собралась и получилось поиграться с моделью model-q5_K.gguf. Спасибо за доклад.