Автору огромный респект. Всё доступно и понятно. Всё получилось сделать по видеоинструкции. Жду новых видео по этой теме, по настройки поиска в Интернете в том числе.
Спасибо, Андрей! Актуальная информация. Я , также, занимаюсь ассистентами и вижу в этом большую перспективу. С удовольствием буду смотреть Ваши выпуски.
Согласен! Я как программист скажу, что студия крутая штука. Она мне помогает не искать решение задач в поисковиках, потому как на мои простые вопросы отвечает полноценно. Но у меня опыт в программировании и разработке Юнити и Веб приложений примерно с 2016 года. Для новичков трудно посоветовать, думаю лишь использовать ламу как ментора
Народ! Подписывайтесь именно сюда. Здесь самый толковые гайды по языковым моделям. У автора явный талант доходчиво доносить информацию. Всё четко, всё по полочкам и при этом без занудства. Так держать!
Попробовал оба способа, скормил Ламе технические условия, достаточно объёмный и сложный документ, в формате docx и в обычном текстовом файле и попросил проверить опечатки. Специально удалил из пары слов по 1 букве, для проверки, найдёт или нет. Импорт Docx в LM Studio похоже, работает не вполне корректно, в некоторых словах появляются лишние пробелы, такие слова Лама считает ошибками. Сокращения она тоже плохо понимает - это когда файл был прикреплён в LM-Studio напрямую. В AnythingLLM я пробовал только с простым текстовым файлом. Там лишних срабатываний не было, но и внесённые тестовые опечатки Лама не нашла. Вместо этого прицепилась к окончанию одного слова, якобы оно неправильное. Изучение лога сервера показало, что она весь текст не читала, выхватила небольшой фрагмент ближе к концу. Возможно, нужно токенов ей не 4096 дать, а побольше. Мои внесённые опечатки во фрагмент не попали. Но и в самом фрагменте имевшуюся опечатку Лама не нашла, я её нашёл при чтении лога сервера :) Парсинг веб-страниц ещё не пробовал, попробую завтра. Общее впечатление - хреново она русский язык знает. С AnythingLLM результат менее "зашумлённый" получается, но заставлять её проверять орфографию, похоже, бесполезно. Запущенный сервер подхватила сама, без вписывания URL, сервер я запустил заранее. Надо будет ещё попробовать с другой моделью, например, с Mistral Спасибо за тутор, с AnythingLLM самостоятельно разобраться не получилось, а по тутору документ подхватился
Интересный опыт. Похоже еще есть связь между железом и ответами. На более мощном, она думает лучше и не выдает ответы на Английском. Ну и квантизация тоже может решать одна и та же модель 8b с разной квантизацией может работать сильно по разному!
@@NeuroGeek1 Квантизация однозначно влияет. И ещё, варианты одной и той же модели от разных "сборщиков" вообще ведут себя по-разному. Meta-Llama-3.1-8B-Instruct-GGUF от LM Studio Community, Meta-Llama-3.1-8B-Instruct-Q4_K_M от Bartowski и Lexi-Llama-3-8B-Uncensored_Q4_K_M от Orenguteng на одни и те же вопросы давали вообще разные ответы.
@@alexxis246 ага, по-моему, даже качал её. Есть ещё одна чисто русскоязычно обученная - Woona, очень хорошо и грамотно пишет тематические тексты. Но заточена конкретно на My Little Pony :)
Я с запозданием с поздравлениями. Здоровья! И вопрос: Эта Лама тоже самое что и в Джане (в последнем ролике твоем)? Или вкупе если использовать то разное будет?
Это большой обьем, например та же Llama 3.1 8b с квантизацией 4, весит около 4,5Гб. Если ее дообучать, на файлах в несколько гигов, то это будет очень много ресурса жрать, не факт, что даже на RTX 4090 получится это сделать…
делаю также как в видео через Anythingllm. Спросил у нее инфо про 50 серию видео карт от Nvidia, он говорит что знает только 30 серию (т.е данные у нее уж очень старые) Подкинул ей ссылку и txt файл с инфой про 50 серию, все равно в упор не видит и говорит что не знает ничего. Что делаю не так?
Андрей, спасибо за ролик. Скалите, пожалуйста, есть ли ЛМки, которые могут локально работать на компуктере и преобразовывать речь на русском в текст? Спасибо.
В теории связка с ollama с openwebui через docker, есть ролик на канале как сделать связку, там есть голос, но он работает не очень, может как нибудь сделаю видео об этом…
а можно ли указать папку на компьютере, в которой лежат файлы (например Markdown-файлы), и чтобы нейронка из них брала информацию? то есть состав файлов меняется, а LLM это учитывает каждый раз
Спасибо за инфу, похоже, то что искал, не читал пока всю ветку коментов. Спрошу упрощенно, есть 3 учебника с фото и текстами и схемами, получится у меня таким методом закинуть их в Ламу для быстрого общения с ними и вытяжки нужной инфы быстро а также потом сравнивать фото и графиков (поясняю) кидаю в ламу фото и спрашиваю какому диагнозу соответствует? лама ищет ответ в базе книг закинутых туда ранее и дает ответ по текущей фото (вопросу)???
Мне в упор не поставить llama3.1:8b в LM Studio. При том, что она у меня уже есть через ollama и адекватно работает. А в LM Studio - только llama3.2:1b. Но и она не подключается после скачивания: ругается "No LM Runtime found for model format 'gguf'!"
по моему вполне очевидно, что простая маленькая нейронка работающая на простом компьютере не может сравниться с одной из самых продвинутых нейронок на сегодняшний день, которая работает на суперкомпьютере...
Спасибо большое! давно искал нечто подобное. А подскажите пожалуста на Вин11 в какую именно папку applications и где нужно забрасывать Anything LLM? спасибо
Андрей, спасибо за видео. Подскажите пожалуйста, если загрузить файл в память Anything llm, он работает с ним локально, или всё-таки файл уходит на сервер? Как насчет конфиденциальности?
Здравствуйте! Установил LM Studio, но когда получаю ответ, с русским языком какие-то проблемы, присутствуют английские слова, то иероглифы. Как это можно исправить? Вот пример: "Assistant Llama-3.2-3B-Instruct-4bit Погода в Москве сейчасquite cloudsaya и rainshnay. Температура around 15°C (59°F) и bit vindy. Как вы ktoblete? 22.73 tok/sec • 39 tokens • 0.47s to first token •Stop: eosFound"
@@NeuroGeek1 посмотрел, лайкнул. То что в настройках можно ползунок двигать я в курсе, там лимит на 18 ядер, а у меня 36 ядер 72 потока. Вопрос был как лимит можно подкрутить, может есть команды какие?
Хорошо бы добавить папку со своим программным проектом , а Anything LLM автоматически обновляла инфу для LM Studio. А так получается через 2-5 часов работы информация становится не актуальна, необходимо заново токенизировать проект.
Все программы обновляются регулярно и LM Studio и Anything LLM, поэтому возможно докинут, а возможно вообще изменят интерфейс и все будет работать по другому, динамика изменений очень большая...
В Anything LLM нельзя установить нейросеть, как в LM Studio. Там другой интерфейс, обязательно нужна связка или с LM Studio или с Ollama или OpenAI по API
@@NeuroGeek1 зачем вы удаляете мои ответы? Разберитесь в программах о которых делаете материалы. В Anything LMM можно и скачать и установить любую нейронку из кучи представленных - выбираете, автоматом качается и подключается. Только обучаться на приатаченных ссылках или локальных материалах она не будет. Надеюсь пока.
попробовал 8В, довольно глупая машинка, даже интернетом не пользуется, а какой то мет-базой. На технические вопросы не отвечает, даже если скормить ей документ, думать не умеет. А про жизнь я совсем молчу... спросил - в "В чем сила, брат?" Эта фраза является цитатой из классического советского фильма "Бриллиантовая рука" (1968) режиссера Леонида Гайдая. В данной сцене главные герои, Остап Бендер и Ипполит Матвеевич, используют эту фразу, чтобы показать свою прыткость и смелость.
@burdinAI ну по второму пункту я многое допускаю, может кртво скачал... у меня скорее по первому... почему не ищет и не предлагает скачивать... как будто интернета нет... хотя никаких фаерволов и т.п. у меня не стоит....
@burdinAI ничего страшного. Взял из предыдущего видел ollama и связал ее с python. Сижу балуюсь. При помощи иных gpt пишу код работы ollama - кароче кайф. Очень рад что нашел этот клад - канал!!!!
Не совсем понятно, что нужно сделать, но суть в том, что главное не перегрузить систему, чтобы она не затупила от обьема информации, если нужно прямо много…
@ у меня есть код рабочего проекта, мне интересно можно ли его использовать как базу знаний. Чтоб разработчик например мог написать как мне добавить новый модуль например. Или например - напиши тесты и на основе тех файлов что я загрузил модель сможет написать тесты на подобии тех что уже есть в проекте .
Буквально пару дней назад разбирался с RAG и пришел точно к такой же связке. ))) Но почему-то Anything LLM не захотела увидеть данные из моего текста. Зато в Anything LLM загруженые доки образуют библиотеку, которой можно пользоваться в других диалогах. В LM Studio все работает быстрее, но нет организованной библиотеки. По крайней мере, пока. Думаю сделают скоро, так как совсем недавно в ней вообще не было возможности RAG.
Да соль в том, что нет библиотеки, докинут ли в lm studio - это вопрос, потому что у anything llm чуть другая или даже сильно другая структура. По поводу работы с файлами и вообще качеством ответов, похоже от железа тоже может зависеть результат. Это выглядит на первый взгляд странно, но похоже это так…
@@NeuroGeek1 По поводу железа - не особо странно, по крайней мере исходя из опыта, а не из теории. Та же генерация картинок на одних и тех же моделях, с одинаковыми промптами и настройками тоже дает разные результаты. Проверял лично на пяти различных конфигурациях компов.
Спасибо! Попробовал загрузить сайт Suno и попросил модель составить простой промт - русский рок, мужской вокал . Результат обескураживает в плохом смысле. Ответ на конкретные вопросы не модель не дает. Напоминает расплывчатый и ниочем ответ юристов на моей прошлой работе.
лучше webUI и Ollama, они шустрее. если на Linux, то размечайте диски в BTRFS файловую систему она асинхронна, не блокирует потоки при обращении к диску. При работе с Docker это топчик. а такбудет тупить как на винде, сначало сгенерит, потом обратиться к диску, а там контейнер и его заблочит и ollama тоже будет блокнута, получиться не слабый тамаут.. я тестил, азица впечатляет.😁 зачем Ollama? она по факту быстрееи лучше работает чем LLM Studio.. а webUI умеет и в загузки фалов, и в поиск, и очен много всего и обновляется очень часто! LLM Studio ламается от версии к версии, мне приходилось хранить несолько ее экземляров ибо на одной не пашет квина. на второй лама новая.. с Ollama такого нет! Это более проф инструменты, но они тожеочень просты и качественее.😁
Все верно Ollama для более профессиональных юзеров и ее так же можно прикрутить к anything llm и много чего делать в связке, а lm studio - это упрощение и все в одном месте, кому что…
Первый раз тебя увидел и llama заинтересовала, выбрал плейлист и сразу ничего не понятно -- что такое RAG-файл , LM studio(наверно ввод данных) -- каша в голове !
Поздравляю. у меня 8.11 Однако не понравилось мне объяснение. Вроде рассказываешь ты просто, но вот почему у тебя "волшебным образом" вылезла 1 версия, а у меня другая ты объяснил. К тому же, если ты Windowsoвод, то предупреждай сразу. Зачем мне терять время и смотреть твой ролик? Либо сделай 2 ролика, это не ракету запустить на марс. Так что если ты меня как зрителя не уважаешь, то отписываюсь
Это уже попахивает каким-то БДСМ. Но я не особо его люблю. А так в следующий раз можно ожидать, что ты у меня попросишь номер карты и пин от карты, где все деньги лежат, а если не дам, то отписка 🤣😭🐮
@@NeuroGeek1 Удалил ранее загруженную ламу, после загрузки и открытия, LM не только не предложил скачать какую то модель, но даже после повторной загрузки Ламы (вне LM) в платформе LM нет никакого следа Ламы. Блин, что не так - то? Ребята, кто нибудь уже пробовал установить эту полезную приблуду на W 11?
@@almagor1000 В LM надо правильно сделать структуру подпапок в прописанной папке для хранения моделей. Должна быть подпапка с именем публикующего, например, TheBloke, в ней подпапка с названием модели, и уже в ней модель. Если скачать вне LM и просто бросить модель в папку, LM её не увидит. Сам на эти грабли наступил. Проще из LM скачать что-то, посмотреть, как она именует подпапки и сделать так же для своей ранее скачанной модели. Это Кобольд умеет модель из любого места подцеплять, LM более строгая в этом плане
Друзья, сегодня 16 Ноября у меня ДР, мне исполнилось 38. Ставьте лайки, если хотите поздравить меня с ДР, всем буду очень благодарен. 🙏
С днем рождения.
@@NeuroGeek1 успехов!
@@Финансияспасибо 👍
@@IvanLesnovблагодарю 👍
С прошедшим днем рождения тебя, желаю всего самого хорошего, лайк поставил)))
Автору огромный респект. Всё доступно и понятно. Всё получилось сделать по видеоинструкции. Жду новых видео по этой теме, по настройки поиска в Интернете в том числе.
Всегда пожалуйста
Как нибудь сделаю еще видео на эту тему!
Спасибо, Андрей! Актуальная информация. Я , также, занимаюсь ассистентами и вижу в этом большую перспективу. С удовольствием буду смотреть Ваши выпуски.
Всегда пожалуйста! Перспектива бешенная, наступает время, когда при покупке ПК мы будем думать о том, как на ней будет работать локально ЛЛМ.
@@NeuroGeek1 Вы можете объяснить!! После того как закрыть терминал windows 11, какой командой ее запустить снова в терминале?
Максимально полезное для меня видео, теперь смогу несколько своих проектов протестить. Спасибище!
Всегда пожалуйста 👍👍👍😉
Очередной полезный ролик. Сразу, не смотря лайк👍🔥
Лучше конечно посмотреть для начала 😁😁😁
Мне лама очень понравилась. Узнала ей благодаря Вашим видео. Спасибо!
Она для узких задач, кому то нравится, кому-то, нет…
Согласен!
Я как программист скажу, что студия крутая штука. Она мне помогает не искать решение задач в поисковиках, потому как на мои простые вопросы отвечает полноценно. Но у меня опыт в программировании и разработке Юнити и Веб приложений примерно с 2016 года. Для новичков трудно посоветовать, думаю лишь использовать ламу как ментора
Спасибо за запись данного ролика. Было интересно и познавательно. Обязательно попробую этот инструмент
Желаю успехов 🍀
Информация была безумно полезной. Лайк, лайк и еще раз лайк👍👍👍
Спасибо за обратную связь 👍
Спасибо, Андрей! Хотелось бы видео как настроить эту локалку под поиск в интернете.
Как нибудь сделаю!
🚀СУПЕР ролик! Интересная подробная информация!
Респект автору.💖🔥🔥
Вам взаимный респект за позитив и внимание!
Спасибо ОГРОМНОЕ. Хорошее руководство, рабочее)
Всегда пожалуйста 😎
Все достаточно просто и понятно. Большое спасибо за видео)
Всегда пожалуйста 👍
Спасибо большое за такой полезный ролик. В ближайшее время попробую запустить
Всегда пожалуйста, удачи 🍀
Классно! Очень полезно! Благодарю! Жду следующие ролики!
Всегда пожалуйста 👍
Андрюх ты красавчик! Так держать!!! Ждем насчёт ЛМ со связкой интернет!!!
Спасибо, Илья! Возможно сделаю в одном из следующих роликов! 👍
Народ! Подписывайтесь именно сюда. Здесь самый толковые гайды по языковым моделям. У автора явный талант доходчиво доносить информацию. Всё четко, всё по полочкам и при этом без занудства. Так держать!
Спасибо за обратную связь!
Очень классно. Спасибо. Полезно
Всегда пожалуйста 👍
Отличный ролик! Спасибо
Всегда пожалуйста 👍
Супер. Хочу попробовать по работе много документов приходится обрабатывать.
Попробуйте, но не ждите Мега результатов от этой модели 8b, она все еще не такая большая
@@NeuroGeek1а какую модель посоветуете для обработки документов весом в 20-30 мб?
@@NeuroGeek1 какие минимальные требования железа под эту модель?
У меня получилось запустить! Спасибо!
Отлично 👍
Попробовал оба способа, скормил Ламе технические условия, достаточно объёмный и сложный документ, в формате docx и в обычном текстовом файле и попросил проверить опечатки. Специально удалил из пары слов по 1 букве, для проверки, найдёт или нет.
Импорт Docx в LM Studio похоже, работает не вполне корректно, в некоторых словах появляются лишние пробелы, такие слова Лама считает ошибками. Сокращения она тоже плохо понимает - это когда файл был прикреплён в LM-Studio напрямую.
В AnythingLLM я пробовал только с простым текстовым файлом. Там лишних срабатываний не было, но и внесённые тестовые опечатки Лама не нашла. Вместо этого прицепилась к окончанию одного слова, якобы оно неправильное.
Изучение лога сервера показало, что она весь текст не читала, выхватила небольшой фрагмент ближе к концу. Возможно, нужно токенов ей не 4096 дать, а побольше. Мои внесённые опечатки во фрагмент не попали. Но и в самом фрагменте имевшуюся опечатку Лама не нашла, я её нашёл при чтении лога сервера :)
Парсинг веб-страниц ещё не пробовал, попробую завтра.
Общее впечатление - хреново она русский язык знает. С AnythingLLM результат менее "зашумлённый" получается, но заставлять её проверять орфографию, похоже, бесполезно. Запущенный сервер подхватила сама, без вписывания URL, сервер я запустил заранее.
Надо будет ещё попробовать с другой моделью, например, с Mistral
Спасибо за тутор, с AnythingLLM самостоятельно разобраться не получилось, а по тутору документ подхватился
Интересный опыт. Похоже еще есть связь между железом и ответами. На более мощном, она думает лучше и не выдает ответы на Английском. Ну и квантизация тоже может решать одна и та же модель 8b с разной квантизацией может работать сильно по разному!
@@NeuroGeek1 Квантизация однозначно влияет. И ещё, варианты одной и той же модели от разных "сборщиков" вообще ведут себя по-разному. Meta-Llama-3.1-8B-Instruct-GGUF от LM Studio Community, Meta-Llama-3.1-8B-Instruct-Q4_K_M от Bartowski и Lexi-Llama-3-8B-Uncensored_Q4_K_M от Orenguteng на одни и те же вопросы давали вообще разные ответы.
Попробуйте для русского языка, русскую LLM. Знаю только одну Vikhr (Вихрь)
@@alexxis246 ага, по-моему, даже качал её.
Есть ещё одна чисто русскоязычно обученная - Woona, очень хорошо и грамотно пишет тематические тексты. Но заточена конкретно на My Little Pony :)
Андрей! Спасибо.
Когда будет видео о настройуе нейросети на поиск в интернете?
Всегда пожалуйста! В плане есть это видео, надеюсь выйдет в феврале!
Потрясающий ролик, обалденное качество и монтаж! Подскажите, на что снимаете и где монтируете?
Камера APC Sony FX-30 с родным объективном G 20мм, сразу по USB-C в память макбука и потом монтаж в iMovie и Final Cut
Отличный контент, очень полезный
Согласен, без вариантов! 😁👍
Оооо, обязательно попробую)
Успехов 👍🍀
Спасибо!
Лайк и подписка.
Всегда пожалуйста 👍
Такие прикольные нейро вставки на протяжении всего ролика очень веселили)
Спасибо за обратную связь 👍
Я с запозданием с поздравлениями. Здоровья! И вопрос: Эта Лама тоже самое что и в Джане (в последнем ролике твоем)? Или вкупе если использовать то разное будет?
Модели те же, просто разная оболочка, в LM Studio просто больше функций в самой программе и больше моделей
@NeuroGeek1 ок. Попробую лм
Если ллм не владеет инфой она просто идёт искать в интернете. Я поставил mixtral без цензуры и она перешла на мой сайт и смогла вытянуть инфу оттуда
Огонь!
А как сделать так, чтобы лама пользовалась целой библиотекой на несколько гигов? По одной книжке загружать?
Это большой обьем, например та же Llama 3.1 8b с квантизацией 4, весит около 4,5Гб.
Если ее дообучать, на файлах в несколько гигов, то это будет очень много ресурса жрать, не факт, что даже на RTX 4090 получится это сделать…
делаю также как в видео через Anythingllm. Спросил у нее инфо про 50 серию видео карт от Nvidia, он говорит что знает только 30 серию (т.е данные у нее уж очень старые) Подкинул ей ссылку и txt файл с инфой про 50 серию, все равно в упор не видит и говорит что не знает ничего. Что делаю не так?
Только если через файл она увидит, а если через ссылку , то нет…
Андрей, спасибо за ролик. Скалите, пожалуйста, есть ли ЛМки, которые могут локально работать на компуктере и преобразовывать речь на русском в текст? Спасибо.
В теории связка с ollama с openwebui через docker, есть ролик на канале как сделать связку, там есть голос, но он работает не очень, может как нибудь сделаю видео об этом…
Рахмет!😊
Әрқашан, мархабат 😉
Отличная инфа ! У меня наивный вопрос. Ручная настройка рагов ч\з кодинг с указанием кол-ва токенов - умирает ?
Все ручное потихоньку умирает 😁😭, скоро ИИ сам все за нас будет настраивать… Или может даже и спрашивать нас не будет? 👀
а можно ли указать папку на компьютере, в которой лежат файлы (например Markdown-файлы), и чтобы нейронка из них брала информацию? то есть состав файлов меняется, а LLM это учитывает каждый раз
Мне простой способ подошел. Я полностью довольна
Огонь 🔥
как нейросеть на линуксе настроить ч/з терминал?
Смотри ролик на моем канале про Llamy, там показываю, как ее накинуть через Ollama
О! А как же подключить интернет? Я GPT 4 использую только дял поиска в интернете.
Можно в Anything LLM заставить искать в интернете
Спасибо за инфу, похоже, то что искал, не читал пока всю ветку коментов. Спрошу упрощенно, есть 3 учебника с фото и текстами и схемами, получится у меня таким методом закинуть их в Ламу для быстрого общения с ними и вытяжки нужной инфы быстро а также потом сравнивать фото и графиков (поясняю) кидаю в ламу фото и спрашиваю какому диагнозу соответствует? лама ищет ответ в базе книг закинутых туда ранее и дает ответ по текущей фото (вопросу)???
Вопрос в размерах файлов, пробуйте , может переварит, может нет.
У меня в Lm Studio нет моделей написано "Error: fetch failed"
Может железо не тянет?
@@NeuroGeek1 intel core i9 12900k, rtx 4070 не достаточно?
Мне в упор не поставить llama3.1:8b в LM Studio. При том, что она у меня уже есть через ollama и адекватно работает. А в LM Studio - только llama3.2:1b. Но и она не подключается после скачивания: ругается "No LM Runtime found for model format 'gguf'!"
Тут вопрос какой ПК, возможно ту что ставишь только под mac
Здравствуйте! Не подскажите, а возможно ли как переключить задачи генерации ответов с GPU на CPU?
У меня на приложении для мака можно , это находится в настройках, там где выбор модели сверху, там должны быть ползунки по загрузке системы
Может есть решение как в WebUI поменять голос? И Вы запишите видео? С ним можно вести полноценные диалоги, как с GPT-О
по моему вполне очевидно, что простая маленькая нейронка работающая на простом компьютере не может сравниться с одной из самых продвинутых нейронок на сегодняшний день, которая работает на суперкомпьютере...
Логично
есть решение через LM Studio, но придется писать код... Но вопрос стоит ли это всех усилий...
У меня не сработало. Закинул документацию для кодинга. Документация по новому синтаксису. Всё равно пишет ответы на старом синтаксисе.
Нужна модель Qwen coder, пробуйте разные Qwen coder и все получится
@NeuroGeek1 спасибо, попробую. Я deepseek coder v2 пробовал и lama3.1
@@NeuroGeek1 Реально работает. Ну!!! Крууууть.
Спасибо большое! давно искал нечто подобное. А подскажите пожалуста на Вин11 в какую именно папку applications и где нужно забрасывать Anything LLM? спасибо
На винде не надо, это только на маке такая папка, на винде должно быть проще, установил и пользуешься.
@@NeuroGeek1 СПАСИБО
Подскажите, что такое RAG файл?
Файл базы знаний
Автор здравствуй, а в моём случае в какую папку закидывать на виндовс?
Там где не случится перегруза и самая быстрая память, чем быстрее память, тем лучше будет работать.
Будет ли это работать если документ отсканированный ? (Не распознанный как текст ?)
Модель маленькая и без vision-функций. Возможно c 11b будет работать, как раз ее закачал и тестирую…
Андрей, спасибо за видео. Подскажите пожалуйста, если загрузить файл в память Anything llm, он работает с ним локально, или всё-таки файл уходит на сервер? Как насчет конфиденциальности?
Попробуйте выключить интернет и посмотрите будет ли работать, должен быть локально.
Здравствуйте! Установил LM Studio, но когда получаю ответ, с русским языком какие-то проблемы, присутствуют английские слова, то иероглифы. Как это можно исправить? Вот пример: "Assistant Llama-3.2-3B-Instruct-4bit
Погода в Москве сейчасquite cloudsaya и rainshnay. Температура around 15°C (59°F) и bit vindy.
Как вы ktoblete?
22.73 tok/sec • 39 tokens • 0.47s to first token •Stop: eosFound"
С русским не иногда глючит, надеюсь в ближайшее время они добавят лучшее понимание русского. Но пока Английский в приоритете, к сожалению…
Вышла новая Llama прощай chatGPT!!!
Llama: "Как вы ktoblete?"
Годно. Продолжай.
Спасибо 👍
У меня нет вариантов скачивания моделей в lm studio, просто пустая оболочка. Вручную если указать модели на диске, он их не видет. Что за чушь?
Вероятно железо слабое или дров нет подходящих
Возможно ли упаковать этого бота в docker compose из микросервисов для RAG?
Так а как перекомпилировать модель с учетом изменений?
Смотря каких…
Как в LMStudio увеличить количество используемых ядер CPU, больше 18?
Вчера вышел новый ролик на канале про lm studio, там как раз показываю где крутить настройки с ядрами CPU и GPU…
@@NeuroGeek1 посмотрел, лайкнул. То что в настройках можно ползунок двигать я в курсе, там лимит на 18 ядер, а у меня 36 ядер 72 потока. Вопрос был как лимит можно подкрутить, может есть команды какие?
а какого размера и количества файлов одновременно можно работать? можно ли целую документацию на 20 документов подгрузить в anythingllm ?
Был лимит 5 доков, возможно сделали уже больше, попробуй!
А как сделать так чтобы она умела генерировать картинки по запросу?
Это отдельная песня, как нибудь сделаю про это видео
Я понял. Попробую.
Огонь 🔥
Хорошо бы добавить папку со своим программным проектом , а Anything LLM автоматически обновляла инфу для LM Studio. А так получается через 2-5 часов работы информация становится не актуальна, необходимо заново токенизировать проект.
Все программы обновляются регулярно и LM Studio и Anything LLM, поэтому возможно докинут, а возможно вообще изменят интерфейс и все будет работать по другому, динамика изменений очень большая...
@@NeuroGeek1 Верим, надеемся и любим
@@JohnSmith-z9m
А можно объяснить зачем LM Studio, если в Anything LLM точно так же можно скачать локально модель LLama и общаться?
В Anything LLM нельзя установить нейросеть, как в LM Studio. Там другой интерфейс, обязательно нужна связка или с LM Studio или с Ollama или OpenAI по API
@@NeuroGeek1 зачем вы удаляете мои ответы? Разберитесь в программах о которых делаете материалы. В Anything LMM можно и скачать и установить любую нейронку из кучи представленных - выбираете, автоматом качается и подключается. Только обучаться на приатаченных ссылках или локальных материалах она не будет. Надеюсь пока.
при попытке загрузить скачанную модель загрузка начинается но потом ошибка Failed to load the model
Может места мало или железо не тянет?
Посмотри путь куда качаешь
@ путь C:\Users\anyar\.lmstudio\models\lmstudio-community\Meta-Llama-3.1-8B-Instruct-GGUF
при установке доходит до 77% и ошибку выдает
@ место есть, 40Гб, железо конечно не очень 16 Гб оперативки, проц i3 7-го поколения, видео 940 мх.
Подскажите, какой компьютер подойдет для этой нейросети? С какими параметрами?
Если Мак, то M1 с 16Гб объединений памяти и выше. Если на винде, то тоже нужна оперативная память от 8Гб, лучше 16Гб и видеокарту от 8гб VRAM
Четко!
Однозначно 👌
попробовал 8В, довольно глупая машинка, даже интернетом не пользуется, а какой то мет-базой. На технические вопросы не отвечает, даже если скормить ей документ, думать не умеет. А про жизнь я совсем молчу... спросил - в "В чем сила, брат?"
Эта фраза является цитатой из классического советского фильма "Бриллиантовая рука" (1968) режиссера Леонида Гайдая. В данной сцене главные герои, Остап Бендер и Ипполит Матвеевич, используют эту фразу, чтобы показать свою прыткость и смелость.
Ну ты дал жару))) Сломал модель) 👍🏻
У меня :
1 вообще ничего не показывает для загрузки
2 когда я ручками скачал ламу - не запускает ее ни с какими параметрами
Может железо не тянет?
@burdinAI ну по второму пункту я многое допускаю, может кртво скачал... у меня скорее по первому... почему не ищет и не предлагает скачивать... как будто интернета нет... хотя никаких фаерволов и т.п. у меня не стоит....
Странно…
@burdinAI ничего страшного. Взял из предыдущего видел ollama и связал ее с python. Сижу балуюсь. При помощи иных gpt пишу код работы ollama - кароче кайф. Очень рад что нашел этот клад - канал!!!!
А картинки в PDF-файлах читает?
С vision-функцией Llama 3.2 11b, ее недавно завезли на ollamy, надо тестить какое железо под нее нужно, но явно намного мощнее чем под llama 3.1 8b
@ Mac book air M3
Как мне добавить весь код проекта? Я так понимаю по одному добавить все файлі проекта, но может можно както проще?
Не совсем понятно, что нужно сделать, но суть в том, что главное не перегрузить систему, чтобы она не затупила от обьема информации, если нужно прямо много…
@ у меня есть код рабочего проекта, мне интересно можно ли его использовать как базу знаний. Чтоб разработчик например мог написать как мне добавить новый модуль например. Или например - напиши тесты и на основе тех файлов что я загрузил модель сможет написать тесты на подобии тех что уже есть в проекте .
Спасибо.но я бы хотел знать сработает ли ЛМ если загружать документы на азербайджанском языке
Должна, попробуй
Буквально пару дней назад разбирался с RAG и пришел точно к такой же связке. ))) Но почему-то Anything LLM не захотела увидеть данные из моего текста. Зато в Anything LLM загруженые доки образуют библиотеку, которой можно пользоваться в других диалогах. В LM Studio все работает быстрее, но нет организованной библиотеки. По крайней мере, пока. Думаю сделают скоро, так как совсем недавно в ней вообще не было возможности RAG.
Да соль в том, что нет библиотеки, докинут ли в lm studio - это вопрос, потому что у anything llm чуть другая или даже сильно другая структура. По поводу работы с файлами и вообще качеством ответов, похоже от железа тоже может зависеть результат. Это выглядит на первый взгляд странно, но похоже это так…
@@NeuroGeek1 По поводу железа - не особо странно, по крайней мере исходя из опыта, а не из теории. Та же генерация картинок на одних и тех же моделях, с одинаковыми промптами и настройками тоже дает разные результаты. Проверял лично на пяти различных конфигурациях компов.
Получится загрузить документ/ы Word, который состоит из 2000 страниц, и обсудить вопросы, связанные с ним?
Можно попробовать разбить на несколько файлов, но не факт что столько проглотит, надо тестировать.
@burdinAI благодарю
Спасибо! Попробовал загрузить сайт Suno и попросил модель составить простой промт - русский рок, мужской вокал . Результат обескураживает в плохом смысле. Ответ на конкретные вопросы не модель не дает. Напоминает расплывчатый и ниочем ответ юристов на моей прошлой работе.
Юристы знают свое дело! 👁️👁️😁
AnyLLM требует регистрацию а как офлайн то сделать ?
Регистрацию надо онлайн делать, так же как коммент чтобы писать на ютубе , тоже нужно онлайн 😁
@ прога будет эта работать оффлайн ? В ролике шла речь про дообучении на критичных данный, а тут онлайн регистрация…
лучше webUI и Ollama, они шустрее. если на Linux, то размечайте диски в BTRFS файловую систему она асинхронна, не блокирует потоки при обращении к диску. При работе с Docker это топчик. а такбудет тупить как на винде, сначало сгенерит, потом обратиться к диску, а там контейнер и его заблочит и ollama тоже будет блокнута, получиться не слабый тамаут.. я тестил, азица впечатляет.😁
зачем Ollama? она по факту быстрееи лучше работает чем LLM Studio.. а webUI умеет и в загузки фалов, и в поиск, и очен много всего и обновляется очень часто! LLM Studio ламается от версии к версии, мне приходилось хранить несолько ее экземляров ибо на одной не пашет квина. на второй лама новая.. с Ollama такого нет! Это более проф инструменты, но они тожеочень просты и качественее.😁
Все верно Ollama для более профессиональных юзеров и ее так же можно прикрутить к anything llm и много чего делать в связке, а lm studio - это упрощение и все в одном месте, кому что…
Завоз ❤
Спасибо 👍
Расскажи лучше как научить ламу говорить человеческим голосом.
Не самая простая тема, чтобы это сделать придется писать код...
Что такое RAG-файл? Для чего он нужен?
Чтобы получать ответы на вопросы, которых нет в базе LLM
Второй способ - фигня. Я загрузил простой текстовый файл и она не смогла его считать
Значит файл кривой
@ я специально создал новый пустой файл. Написал пару строк в него и положил на рабочий стол. Файл нормальный. Попробуй сам)
Первый раз тебя увидел и llama заинтересовала, выбрал плейлист и сразу ничего не понятно -- что такое RAG-файл , LM studio(наверно ввод данных) -- каша в голове !
Смотри больше роликов и все поймешь 😉
@@NeuroGeek1 Спасибо за контакт ! К людям , поддерживающим контакт больше тяги !
RAG прикрутили в LM Studio 0.3.6. На сегодня ограничения 5 документов по 30Mb каждый
Спасибо за обратную связь 👍
Вот только если использовать API и подгружать файл через скрепку, то никто ничего не распознает...
Через скрепку в LM Studio проще грузить…
Жаль только что 405 обывателю запустить - утопия, а следовательно почти бесполезно все.
Ps комментов у видос трушных прям куча 😂😂😂
Все комменты подставные, и вообще канал фейк! 😁😭 Возможно сделаю видео, как запустить 405 через облако, но это не будет бесплатно…
Поздравляю. у меня 8.11 Однако не понравилось мне объяснение. Вроде рассказываешь ты просто, но вот почему у тебя "волшебным образом" вылезла 1 версия, а у меня другая ты объяснил. К тому же, если ты Windowsoвод, то предупреждай сразу. Зачем мне терять время и смотреть твой ролик? Либо сделай 2 ролика, это не ракету запустить на марс. Так что если ты меня как зрителя не уважаешь, то отписываюсь
Это уже попахивает каким-то БДСМ. Но я не особо его люблю. А так в следующий раз можно ожидать, что ты у меня попросишь номер карты и пин от карты, где все деньги лежат, а если не дам, то отписка 🤣😭🐮
@@NeuroGeek1 Ты можешь ерничать, но это ты ищешь моего внимания как зрителя выпуская ролики, а не я твоего.
Зачем обманываете людей. Никаких RAG файлов не существует в природе.
😂😂😂 да ладно?
@ именно
Юмор уровень Петросян)), но смешно)
😭🤣 Петросяном меня еще ни кто не называл +500 скилов к навыку «юморист года» 🤣
😁
Монтаж кринж конечно))
Однозначно!
Какой нафиг гик? Если ты путаешь мегабайты с мегабитами? 😂
Главное не путать хрен с трамвайной ручкой 😨
А если llama 3.1 8B, ранее была уже уже загружена? Ее все-таки сначала удалить с компа, а затем снова загружать, как показано здесь, в ролике?
Если грузили с ollama через терминал, то удаляйте и грузите через LM Studio, все будет намного проще.
@@NeuroGeek1 Удалил ранее загруженную ламу, после загрузки и открытия, LM не только не предложил скачать какую то модель, но даже после повторной загрузки Ламы (вне LM) в платформе LM нет никакого следа Ламы. Блин, что не так - то? Ребята, кто нибудь уже пробовал установить эту полезную приблуду на W 11?
@@almagor1000 В LM надо правильно сделать структуру подпапок в прописанной папке для хранения моделей. Должна быть подпапка с именем публикующего, например, TheBloke, в ней подпапка с названием модели, и уже в ней модель. Если скачать вне LM и просто бросить модель в папку, LM её не увидит. Сам на эти грабли наступил. Проще из LM скачать что-то, посмотреть, как она именует подпапки и сделать так же для своей ранее скачанной модели.
Это Кобольд умеет модель из любого места подцеплять, LM более строгая в этом плане
Какие системные требования для всего этого?
Там есть много моделей ЛЛМ для загрузки. Но если 8b, то нужно минимум 8Гб RAM и чтобы модель влезла в память GPU. Но в идеале, чтобы было от 16Гб RAM
@@NeuroGeek1 Спасибо.
Адрес именно сервиса а не сервера, так что всё правильно
👍