ฝัง
- เผยแพร่เมื่อ 16 ต.ค. 2024
- Я покажу и расскажу свой опыт подключения локальной бесплатной нейросети к интернет поиску.
Я попробовал несколько инструментов на примере лучших бесплатных нейросетей и нашел работающее решение. AnythingLLM в комбинации с command-r успешно выполняет веб поиск.
все ссылки по теме видео в телеграм:
t.me/+zTcoFHq7i9AyMWM6
Подскажите пожалуйста, какую цель вы преследовали? В двух словах?
Очень умный проект, Спасибо!
То есть вы хотели локальную модель AI подключить к Интернету, чтобы она могла отвечать на любые вопросы с учетом самой актуальной информации из Интернета? Но ведь для этого нужен очень толстый канал Интернет, и чтобы модель обучалась в реальном времени на основе анализа контента, но для этого нужны гигатские мощности. или чтобы умно проходила по ссылкам, ища правильный ответ, задействуя только локальные ресурсы обычного домашнего компьютера, тогда наверное программить нужно, хотябы сценарии, как у Вас алгоритм на картинках. Значала вопрос, потом AI формулирует запрос к поисковику, потом получает ответы, смотрит ответы, если они AI кажутся недостаточными, формулирует новый запрос, пока не получит ответ, который сочтет достаточно правильным, чтобы показать его Вам. А какая модель локальной бесплатной AI по Вашему мнению наиболее приближенные к человеческому общению ответы выдает? Я с Llama 3 Instruct работаю
Привет, наткнулся на твой канал, у тебя довольно лампово, продолжай!
любая нейронка работает на информации. так что можно скачать всю инфу. желательно в тексте. потом сжать текст на 90% и обучать на этом. затем удалять старую инфу и качать новую. нейронка сохраняет старую инфу ещё сильнее сжав струю инфу в собственные слои. пробуй если понял.
Добрый день.
Подскажите пожалуйста, а какие у Вас настройки LM Studio? (имеется ввиду "Frequency Scale" и другие).
Вам можно заказать настройку такой модели? и можно ли модель научить различать голоса?
Я тоже немного копал в эту сторону, я не нашёл эти решения - спасибо, я начал копать в сторону Ollama и cat-ui. Cat-ui как чат для LLM такое себе, но в качестве написания бота неплох, все пишется на python - что даёт неплохую мобильность и можно писать свои решения и скрипты, но приходится чучуть копаться.
Так а что получилось то в итоге? ) ... На видео вы показали процесс подбора и тестирования различных нейронок и все. Но какие именно задачи они должны были решать и как они с этим справились вы не показали. Надеюсь, в следующем видео это все будет разъяснено.
В итоге стало ясно, что модель Command-R использует поиск для выдачи актуальной и новой информации в интернете, что весьма ценно
Здравствуйте. Расскажите какой апгрейд? Видеокарта новая? Какая у Вас была и какую Вы купили?
Здравствуйте. Была tesla, купил 4090. Но это конечно и с запасом на будущее, цены растут, решил купить пока была возможность. Хочу на тему железа снять отдельный ролик, есть что рассказать.
@@codedd3280 Да, было бы отлично.
@@codedd3280 я купил бу 3090 вместо 1080ti она у меня три года проработала, заменил ее. Я правда еще рисую c помощью нейросетей там важен размер памяти и скорость работы по сути как и с любыми моделями нейросетей. Кто бы что не говорил, а 3090 занимает второе место топ второго покаления после 4090, по памяти они равны, остальные модели видеокарт кастраты их не стоит кроме этих двух либо 4090 либо 3090 покупать. Лучше на лишние деньги докупить оперативной памяти. Тем более цена 3090 была всего от 750-850 евро очень дешево цена подъемная все-таки это не более 2000 тыс евро как за 4090, 3090 в свое время так дорого стоила.
я купил бу 3090 вместо 1080ti она у меня три года проработала, заменил ее. Я правда еще рисую c помощью нейросетей там важен размер памяти и скорость работы по сути как и с любыми моделями нейросетей. Кто бы что не говорил, а 3090 занимает второе место топ второго покаления после 4090, по памяти они равны, остальные модели видеокарт кастраты их не стоит кроме этих двух либо 4090 либо 3090 покупать. Лучше на лишние деньги докупить оперативной памяти. Тем более цена 3090 была всего от 750-850 евро очень дешево цена подъемная все-таки это не более 2000 тыс евро как за 4090, 3090 в свое время так дорого стоила.
@@romanioamd5319 тоже после 1080 выбрал 3090 изза памяти. + не такая доррогая можно купить вторую и будет уже 48гб памяти. а это уже гораздо веселее для LLM. только для фоток конечно можно и попроще даже.
В ollama программе подобное возможно?
А Perplexity намного хуже ?
ну как я сказал, с готовыми ссылками она справляется, но лайф поиск не делает, или делает выборочно и не воспроизводимо, плюс выбор моделей
Command-R на LM Studio отказывается скачивать
слабое железо вероятно