Как сделать агентов на основе GigaChat? Подробный туториал на Python
ฝัง
- เผยแพร่เมื่อ 30 เม.ย. 2024
- Сбер недавно анонсировал новые версии больших языковых моделей GigaChat с возможностью вызывать функции. В этом туториале мы используем этот функционал для создания агентов.
Основное предназначение языковых моделей - это генерация текста на основе промпта. Но что будет, если языковую модель снабдить инструментами и инструкциями, как ими пользоваться? Сможет ли она эффективно решать реальные задачи?
Агент в этом смысле представляет собой языковую модель, которой предоставили инструменты и ставят задачи, а она самостоятельно выбирает пути решения и обращается к инструментам.
Репозиторий с кодом: github.com/trashchenkov/gigac...
Мой канал в Telegram: t.me/gigatrash - วิทยาศาสตร์และเทคโนโลยี
Споткнулся на "llm_with_tools = giga.bind_tools(tools)", которая вызывает ошибку: NotImplementedError. Может кто знает как исправить?
Проверил. Действительно, вылезает ошибка. 24 мая разработчики выпустили версию гигачейна 0.2.0. Если при установке указать более старую версию, то все нормально работает:
!pip install -q gigachain==0.1.17
Штука крутая,но я тестировал гигачат для генерации текстов, но сплошная беда с цензурой. Цензурят вообще все самое обсуждаемое, самое интересное. Очень жаль, надеюсь скоро будет русские нейронки без цензуры, где хотя бы слова - "Половой контакт" можно было ввести
В общем... разочарование
Да, есть такая проблема. Но разработчиков можно понять, лучше перестраховаться, чем допустить генерацию недопустимого контента. Если говорить про доступ к модели по API, то попробуйте так:
GigaChat(credentials=auth,
model='GigaChat-preview',
verify_ssl_certs=False,
profanity_check=False
)
Параметр profanity_check отвечает за включение/отключение цензора. Должно стать получше, но некоторые темы все равно не пропускает.
@@trashchenkov Благодарю
@@trashchenkovполно же других нейронок. А от Сбера, то, что Грефу принадлежит - слуге Шваба и врагу народа, укравшему все народные деньги Сбербанка и желающего народ в неведении и рабстве держать, на деньги же народа - сомнительное удовольствие и польза в пользовании😅
Не понимаю программистов-агитаторов. Зачем мне обучать языковые модели , которые не принадлежат мне? Зачем воспитывать чужих детей (их мозги, их естественные нейросети, языковые модели), если можешь воспитывать своих? Зачем мне финансировать чужую собственность (Сбербанк, Google и др.)? Спрашиваю как бизнесмен, собственник (и родитель).
Вопрос в общем и целом справедливый, но нужно прояснить некоторые моменты. Тогда станет понятнее, что ответы на этот вопрос могут быть разные)).
Обучить большую языковую модель с нуля на сегодняшний день могут только крупные компании. Это дорого, требует серьезного оборудования и штат квалифицированных специалистов. На эту тему отсылаю к видео, там в начале про это Andrej Karpathy
очень хорошо рассказывает th-cam.com/video/zjkBMFhNj_g/w-d-xo.html
Можно брать готовые языковые модели, которые опенсорсные, запускать их на собственном железе, дообучать под свои задачи, если нужно, и использовать. Так делают многие бизнесы, которые не хотят передавать свои данные сторонним компаниям. Но это тоже требует определенных ресурсов и квалификации.
Использование доступа к готовым языковым моделям по API, как например к GigaChat, это еще одна опция. Она позволяет не брать на себя издержки по обслуживанию софта и оборудования. То есть это как бы языковая модель как услуга. Если речь не идет о работе с какими-то чувствительными данными, то это приемлемый вариант. Более того, значительная часть примеров кода может с минимальными изменениями быть использована как для доступа к моделям по API, так и к запускаемым локально моделям.
Если возвращаться к Вашим аналогиям, то можно ездить на личном автомобиле, можно пользоваться общественным транспортом. Аналогия с детьми более сложная, но есть люди, которые работают учителями или берут приемных детей. Видимо для них есть какая-то мотивация участвовать в воспитании чужих детей)))
Добрый день, на ваших запросах языковая модель не обучается. А в бизнесе эти технологии имеют очень крутое применение, я допустим сейчас делаю бота, который будет общаться с клиентом в чате авито, отвечая на запросы по наличию, аналогам, доставке и оформлению заказа. В данном видео очень примитивная демонстрация возможностей.