Попробовал оба способа, скормил Ламе технические условия, достаточно объёмный и сложный документ, в формате docx и в обычном текстовом файле и попросил проверить опечатки. Специально удалил из пары слов по 1 букве, для проверки, найдёт или нет. Импорт Docx в LM Studio похоже, работает не вполне корректно, в некоторых словах появляются лишние пробелы, такие слова Лама считает ошибками. Сокращения она тоже плохо понимает - это когда файл был прикреплён в LM-Studio напрямую. В AnythingLLM я пробовал только с простым текстовым файлом. Там лишних срабатываний не было, но и внесённые тестовые опечатки Лама не нашла. Вместо этого прицепилась к окончанию одного слова, якобы оно неправильное. Изучение лога сервера показало, что она весь текст не читала, выхватила небольшой фрагмент ближе к концу. Возможно, нужно токенов ей не 4096 дать, а побольше. Мои внесённые опечатки во фрагмент не попали. Но и в самом фрагменте имевшуюся опечатку Лама не нашла, я её нашёл при чтении лога сервера :) Парсинг веб-страниц ещё не пробовал, попробую завтра. Общее впечатление - хреново она русский язык знает. С AnythingLLM результат менее "зашумлённый" получается, но заставлять её проверять орфографию, похоже, бесполезно. Запущенный сервер подхватила сама, без вписывания URL, сервер я запустил заранее. Надо будет ещё попробовать с другой моделью, например, с Mistral Спасибо за тутор, с AnythingLLM самостоятельно разобраться не получилось, а по тутору документ подхватился
Интересный опыт. Похоже еще есть связь между железом и ответами. На более мощном, она думает лучше и не выдает ответы на Английском. Ну и квантизация тоже может решать одна и та же модель 8b с разной квантизацией может работать сильно по разному!
@@burdinAI Квантизация однозначно влияет. И ещё, варианты одной и той же модели от разных "сборщиков" вообще ведут себя по-разному. Meta-Llama-3.1-8B-Instruct-GGUF от LM Studio Community, Meta-Llama-3.1-8B-Instruct-Q4_K_M от Bartowski и Lexi-Llama-3-8B-Uncensored_Q4_K_M от Orenguteng на одни и те же вопросы давали вообще разные ответы.
Спасибо большое! давно искал нечто подобное. А подскажите пожалуста на Вин11 в какую именно папку applications и где нужно забрасывать Anything LLM? спасибо
а можно ли указать папку на компьютере, в которой лежат файлы (например Markdown-файлы), и чтобы нейронка из них брала информацию? то есть состав файлов меняется, а LLM это учитывает каждый раз
В Anything LLM нельзя установить нейросеть, как в LM Studio. Там другой интерфейс, обязательно нужна связка или с LM Studio или с Ollama или OpenAI по API
@@burdinAI зачем вы удаляете мои ответы? Разберитесь в программах о которых делаете материалы. В Anything LMM можно и скачать и установить любую нейронку из кучи представленных - выбираете, автоматом качается и подключается. Только обучаться на приатаченных ссылках или локальных материалах она не будет. Надеюсь пока.
по моему вполне очевидно, что простая маленькая нейронка работающая на простом компьютере не может сравниться с одной из самых продвинутых нейронок на сегодняшний день, которая работает на суперкомпьютере...
Здравствуйте! Установил LM Studio, но когда получаю ответ, с русским языком какие-то проблемы, присутствуют английские слова, то иероглифы. Как это можно исправить? Вот пример: "Assistant Llama-3.2-3B-Instruct-4bit Погода в Москве сейчасquite cloudsaya и rainshnay. Температура around 15°C (59°F) и bit vindy. Как вы ktoblete? 22.73 tok/sec • 39 tokens • 0.47s to first token •Stop: eosFound"
Первый раз тебя увидел и llama заинтересовала, выбрал плейлист и сразу ничего не понятно -- что такое RAG-файл , LM studio(наверно ввод данных) -- каша в голове !
лучше webUI и Ollama, они шустрее. если на Linux, то размечайте диски в BTRFS файловую систему она асинхронна, не блокирует потоки при обращении к диску. При работе с Docker это топчик. а такбудет тупить как на винде, сначало сгенерит, потом обратиться к диску, а там контейнер и его заблочит и ollama тоже будет блокнута, получиться не слабый тамаут.. я тестил, азица впечатляет.😁 зачем Ollama? она по факту быстрееи лучше работает чем LLM Studio.. а webUI умеет и в загузки фалов, и в поиск, и очен много всего и обновляется очень часто! LLM Studio ламается от версии к версии, мне приходилось хранить несолько ее экземляров ибо на одной не пашет квина. на второй лама новая.. с Ollama такого нет! Это более проф инструменты, но они тожеочень просты и качественее.😁
Все верно Ollama для более профессиональных юзеров и ее так же можно прикрутить к anything llm и много чего делать в связке, а lm studio - это упрощение и все в одном месте, кому что…
Хорошо бы добавить папку со своим программным проектом , а Anything LLM автоматически обновляла инфу для LM Studio. А так получается через 2-5 часов работы информация становится не актуальна, необходимо заново токенизировать проект.
Все программы обновляются регулярно и LM Studio и Anything LLM, поэтому возможно докинут, а возможно вообще изменят интерфейс и все будет работать по другому, динамика изменений очень большая...
@@burdinAI посмотрел, лайкнул. То что в настройках можно ползунок двигать я в курсе, там лимит на 18 ядер, а у меня 36 ядер 72 потока. Вопрос был как лимит можно подкрутить, может есть команды какие?
@burdinAI ну по второму пункту я многое допускаю, может кртво скачал... у меня скорее по первому... почему не ищет и не предлагает скачивать... как будто интернета нет... хотя никаких фаерволов и т.п. у меня не стоит....
@burdinAI ничего страшного. Взял из предыдущего видел ollama и связал ее с python. Сижу балуюсь. При помощи иных gpt пишу код работы ollama - кароче кайф. Очень рад что нашел этот клад - канал!!!!
Буквально пару дней назад разбирался с RAG и пришел точно к такой же связке. ))) Но почему-то Anything LLM не захотела увидеть данные из моего текста. Зато в Anything LLM загруженые доки образуют библиотеку, которой можно пользоваться в других диалогах. В LM Studio все работает быстрее, но нет организованной библиотеки. По крайней мере, пока. Думаю сделают скоро, так как совсем недавно в ней вообще не было возможности RAG.
Да соль в том, что нет библиотеки, докинут ли в lm studio - это вопрос, потому что у anything llm чуть другая или даже сильно другая структура. По поводу работы с файлами и вообще качеством ответов, похоже от железа тоже может зависеть результат. Это выглядит на первый взгляд странно, но похоже это так…
@@burdinAI По поводу железа - не особо странно, по крайней мере исходя из опыта, а не из теории. Та же генерация картинок на одних и тех же моделях, с одинаковыми промптами и настройками тоже дает разные результаты. Проверял лично на пяти различных конфигурациях компов.
@@burdinAI Удалил ранее загруженную ламу, после загрузки и открытия, LM не только не предложил скачать какую то модель, но даже после повторной загрузки Ламы (вне LM) в платформе LM нет никакого следа Ламы. Блин, что не так - то? Ребята, кто нибудь уже пробовал установить эту полезную приблуду на W 11?
@@almagor1000 В LM надо правильно сделать структуру подпапок в прописанной папке для хранения моделей. Должна быть подпапка с именем публикующего, например, TheBloke, в ней подпапка с названием модели, и уже в ней модель. Если скачать вне LM и просто бросить модель в папку, LM её не увидит. Сам на эти грабли наступил. Проще из LM скачать что-то, посмотреть, как она именует подпапки и сделать так же для своей ранее скачанной модели. Это Кобольд умеет модель из любого места подцеплять, LM более строгая в этом плане
Друзья, сегодня 16 Ноября у меня ДР, мне исполнилось 38. Ставьте лайки, если хотите поздравить меня с ДР, всем буду очень благодарен. 🙏
С днем рождения.
@@burdinAI успехов!
@@Финансияспасибо 👍
@@IvanLesnovблагодарю 👍
Спасибо за запись данного ролика. Было интересно и познавательно. Обязательно попробую этот инструмент
Желаю успехов 🍀
Очередной полезный ролик. Сразу, не смотря лайк👍🔥
Лучше конечно посмотреть для начала 😁😁😁
🚀СУПЕР ролик! Интересная подробная информация!
Респект автору.💖🔥🔥
Вам взаимный респект за позитив и внимание!
Мне лама очень понравилась. Узнала ей благодаря Вашим видео. Спасибо!
Она для узких задач, кому то нравится, кому-то, нет…
Информация была безумно полезной. Лайк, лайк и еще раз лайк👍👍👍
Спасибо за обратную связь 👍
Все достаточно просто и понятно. Большое спасибо за видео)
Всегда пожалуйста 👍
Такие прикольные нейро вставки на протяжении всего ролика очень веселили)
Спасибо за обратную связь 👍
Спасибо большое за такой полезный ролик. В ближайшее время попробую запустить
Всегда пожалуйста, удачи 🍀
Андрюх ты красавчик! Так держать!!! Ждем насчёт ЛМ со связкой интернет!!!
Спасибо, Илья! Возможно сделаю в одном из следующих роликов! 👍
Спасибо ОГРОМНОЕ. Хорошее руководство, рабочее)
Всегда пожалуйста 😎
Мне простой способ подошел. Я полностью довольна
Огонь 🔥
Классно! Очень полезно! Благодарю! Жду следующие ролики!
Всегда пожалуйста 👍
У меня получилось запустить! Спасибо!
Отлично 👍
Спасибо!
Лайк и подписка.
Всегда пожалуйста 👍
Супер. Хочу попробовать по работе много документов приходится обрабатывать.
Попробуйте, но не ждите Мега результатов от этой модели 8b, она все еще не такая большая
Отличный ролик! Спасибо
Всегда пожалуйста 👍
Потрясающий ролик, обалденное качество и монтаж! Подскажите, на что снимаете и где монтируете?
Камера APC Sony FX-30 с родным объективном G 20мм, сразу по USB-C в память макбука и потом монтаж в iMovie и Final Cut
Оооо, обязательно попробую)
Успехов 👍🍀
Отличный контент, очень полезный
Согласен, без вариантов! 😁👍
Отличная инфа ! У меня наивный вопрос. Ручная настройка рагов ч\з кодинг с указанием кол-ва токенов - умирает ?
Все ручное потихоньку умирает 😁😭, скоро ИИ сам все за нас будет настраивать… Или может даже и спрашивать нас не будет? 👀
Попробовал оба способа, скормил Ламе технические условия, достаточно объёмный и сложный документ, в формате docx и в обычном текстовом файле и попросил проверить опечатки. Специально удалил из пары слов по 1 букве, для проверки, найдёт или нет.
Импорт Docx в LM Studio похоже, работает не вполне корректно, в некоторых словах появляются лишние пробелы, такие слова Лама считает ошибками. Сокращения она тоже плохо понимает - это когда файл был прикреплён в LM-Studio напрямую.
В AnythingLLM я пробовал только с простым текстовым файлом. Там лишних срабатываний не было, но и внесённые тестовые опечатки Лама не нашла. Вместо этого прицепилась к окончанию одного слова, якобы оно неправильное.
Изучение лога сервера показало, что она весь текст не читала, выхватила небольшой фрагмент ближе к концу. Возможно, нужно токенов ей не 4096 дать, а побольше. Мои внесённые опечатки во фрагмент не попали. Но и в самом фрагменте имевшуюся опечатку Лама не нашла, я её нашёл при чтении лога сервера :)
Парсинг веб-страниц ещё не пробовал, попробую завтра.
Общее впечатление - хреново она русский язык знает. С AnythingLLM результат менее "зашумлённый" получается, но заставлять её проверять орфографию, похоже, бесполезно. Запущенный сервер подхватила сама, без вписывания URL, сервер я запустил заранее.
Надо будет ещё попробовать с другой моделью, например, с Mistral
Спасибо за тутор, с AnythingLLM самостоятельно разобраться не получилось, а по тутору документ подхватился
Интересный опыт. Похоже еще есть связь между железом и ответами. На более мощном, она думает лучше и не выдает ответы на Английском. Ну и квантизация тоже может решать одна и та же модель 8b с разной квантизацией может работать сильно по разному!
@@burdinAI Квантизация однозначно влияет. И ещё, варианты одной и той же модели от разных "сборщиков" вообще ведут себя по-разному. Meta-Llama-3.1-8B-Instruct-GGUF от LM Studio Community, Meta-Llama-3.1-8B-Instruct-Q4_K_M от Bartowski и Lexi-Llama-3-8B-Uncensored_Q4_K_M от Orenguteng на одни и те же вопросы давали вообще разные ответы.
Годно. Продолжай.
Спасибо 👍
Четко!
Однозначно 👌
Спасибо большое! давно искал нечто подобное. А подскажите пожалуста на Вин11 в какую именно папку applications и где нужно забрасывать Anything LLM? спасибо
На винде не надо, это только на маке такая папка, на винде должно быть проще, установил и пользуешься.
@@burdinAI СПАСИБО
Рахмет!😊
Әрқашан, мархабат 😉
О! А как же подключить интернет? Я GPT 4 использую только дял поиска в интернете.
а можно ли указать папку на компьютере, в которой лежат файлы (например Markdown-файлы), и чтобы нейронка из них брала информацию? то есть состав файлов меняется, а LLM это учитывает каждый раз
Здравствуйте! Не подскажите, а возможно ли как переключить задачи генерации ответов с GPU на CPU?
У меня на приложении для мака можно , это находится в настройках, там где выбор модели сверху, там должны быть ползунки по загрузке системы
Подскажите, какой компьютер подойдет для этой нейросети? С какими параметрами?
Если Мак, то M1 с 16Гб объединений памяти и выше. Если на винде, то тоже нужна оперативная память от 8Гб, лучше 16Гб и видеокарту от 8гб VRAM
Будет ли это работать если документ отсканированный ? (Не распознанный как текст ?)
Модель маленькая и без vision-функций. Возможно c 11b будет работать, как раз ее закачал и тестирую…
А можно объяснить зачем LM Studio, если в Anything LLM точно так же можно скачать локально модель LLama и общаться?
В Anything LLM нельзя установить нейросеть, как в LM Studio. Там другой интерфейс, обязательно нужна связка или с LM Studio или с Ollama или OpenAI по API
@@burdinAI зачем вы удаляете мои ответы? Разберитесь в программах о которых делаете материалы. В Anything LMM можно и скачать и установить любую нейронку из кучи представленных - выбираете, автоматом качается и подключается. Только обучаться на приатаченных ссылках или локальных материалах она не будет. Надеюсь пока.
Может есть решение как в WebUI поменять голос? И Вы запишите видео? С ним можно вести полноценные диалоги, как с GPT-О
по моему вполне очевидно, что простая маленькая нейронка работающая на простом компьютере не может сравниться с одной из самых продвинутых нейронок на сегодняшний день, которая работает на суперкомпьютере...
Логично
есть решение через LM Studio, но придется писать код... Но вопрос стоит ли это всех усилий...
Здравствуйте! Установил LM Studio, но когда получаю ответ, с русским языком какие-то проблемы, присутствуют английские слова, то иероглифы. Как это можно исправить? Вот пример: "Assistant Llama-3.2-3B-Instruct-4bit
Погода в Москве сейчасquite cloudsaya и rainshnay. Температура around 15°C (59°F) и bit vindy.
Как вы ktoblete?
22.73 tok/sec • 39 tokens • 0.47s to first token •Stop: eosFound"
С русским не иногда глючит, надеюсь в ближайшее время они добавят лучшее понимание русского. Но пока Английский в приоритете, к сожалению…
Вышла новая Llama прощай chatGPT!!!
Llama: "Как вы ktoblete?"
Первый раз тебя увидел и llama заинтересовала, выбрал плейлист и сразу ничего не понятно -- что такое RAG-файл , LM studio(наверно ввод данных) -- каша в голове !
Смотри больше роликов и все поймешь 😉
@@burdinAI Спасибо за контакт ! К людям , поддерживающим контакт больше тяги !
Возможно ли упаковать этого бота в docker compose из микросервисов для RAG?
лучше webUI и Ollama, они шустрее. если на Linux, то размечайте диски в BTRFS файловую систему она асинхронна, не блокирует потоки при обращении к диску. При работе с Docker это топчик. а такбудет тупить как на винде, сначало сгенерит, потом обратиться к диску, а там контейнер и его заблочит и ollama тоже будет блокнута, получиться не слабый тамаут.. я тестил, азица впечатляет.😁
зачем Ollama? она по факту быстрееи лучше работает чем LLM Studio.. а webUI умеет и в загузки фалов, и в поиск, и очен много всего и обновляется очень часто! LLM Studio ламается от версии к версии, мне приходилось хранить несолько ее экземляров ибо на одной не пашет квина. на второй лама новая.. с Ollama такого нет! Это более проф инструменты, но они тожеочень просты и качественее.😁
Все верно Ollama для более профессиональных юзеров и ее так же можно прикрутить к anything llm и много чего делать в связке, а lm studio - это упрощение и все в одном месте, кому что…
Хорошо бы добавить папку со своим программным проектом , а Anything LLM автоматически обновляла инфу для LM Studio. А так получается через 2-5 часов работы информация становится не актуальна, необходимо заново токенизировать проект.
Все программы обновляются регулярно и LM Studio и Anything LLM, поэтому возможно докинут, а возможно вообще изменят интерфейс и все будет работать по другому, динамика изменений очень большая...
@@burdinAI Верим, надеемся и любим
@@JohnSmith-z9m
Так а как перекомпилировать модель с учетом изменений?
Как в LMStudio увеличить количество используемых ядер CPU, больше 18?
Вчера вышел новый ролик на канале про lm studio, там как раз показываю где крутить настройки с ядрами CPU и GPU…
@@burdinAI посмотрел, лайкнул. То что в настройках можно ползунок двигать я в курсе, там лимит на 18 ядер, а у меня 36 ядер 72 потока. Вопрос был как лимит можно подкрутить, может есть команды какие?
Жаль только что 405 обывателю запустить - утопия, а следовательно почти бесполезно все.
Ps комментов у видос трушных прям куча 😂😂😂
Все комменты подставные, и вообще канал фейк! 😁😭 Возможно сделаю видео, как запустить 405 через облако, но это не будет бесплатно…
А как сделать так чтобы она умела генерировать картинки по запросу?
Это отдельная песня, как нибудь сделаю про это видео
Расскажи лучше как научить ламу говорить человеческим голосом.
Не самая простая тема, чтобы это сделать придется писать код...
А картинки в PDF-файлах читает?
С vision-функцией Llama 3.2 11b, ее недавно завезли на ollamy, надо тестить какое железо под нее нужно, но явно намного мощнее чем под llama 3.1 8b
@ Mac book air M3
Получится загрузить документ/ы Word, который состоит из 2000 страниц, и обсудить вопросы, связанные с ним?
Можно попробовать разбить на несколько файлов, но не факт что столько проглотит, надо тестировать.
@burdinAI благодарю
У меня :
1 вообще ничего не показывает для загрузки
2 когда я ручками скачал ламу - не запускает ее ни с какими параметрами
Может железо не тянет?
@burdinAI ну по второму пункту я многое допускаю, может кртво скачал... у меня скорее по первому... почему не ищет и не предлагает скачивать... как будто интернета нет... хотя никаких фаерволов и т.п. у меня не стоит....
Странно…
@burdinAI ничего страшного. Взял из предыдущего видел ollama и связал ее с python. Сижу балуюсь. При помощи иных gpt пишу код работы ollama - кароче кайф. Очень рад что нашел этот клад - канал!!!!
AnyLLM требует регистрацию а как офлайн то сделать ?
Регистрацию надо онлайн делать, так же как коммент чтобы писать на ютубе , тоже нужно онлайн 😁
@ прога будет эта работать оффлайн ? В ролике шла речь про дообучении на критичных данный, а тут онлайн регистрация…
Юмор уровень Петросян)), но смешно)
😭🤣 Петросяном меня еще ни кто не называл +500 скилов к навыку «юморист года» 🤣
😁
Вот только если использовать API и подгружать файл через скрепку, то никто ничего не распознает...
Через скрепку в LM Studio проще грузить…
Второй способ - фигня. Я загрузил простой текстовый файл и она не смогла его считать
Значит файл кривой
@ я специально создал новый пустой файл. Написал пару строк в него и положил на рабочий стол. Файл нормальный. Попробуй сам)
Какой нафиг гик? Если ты путаешь мегабайты с мегабитами? 😂
Главное не путать хрен с трамвайной ручкой 😨
Буквально пару дней назад разбирался с RAG и пришел точно к такой же связке. ))) Но почему-то Anything LLM не захотела увидеть данные из моего текста. Зато в Anything LLM загруженые доки образуют библиотеку, которой можно пользоваться в других диалогах. В LM Studio все работает быстрее, но нет организованной библиотеки. По крайней мере, пока. Думаю сделают скоро, так как совсем недавно в ней вообще не было возможности RAG.
Да соль в том, что нет библиотеки, докинут ли в lm studio - это вопрос, потому что у anything llm чуть другая или даже сильно другая структура. По поводу работы с файлами и вообще качеством ответов, похоже от железа тоже может зависеть результат. Это выглядит на первый взгляд странно, но похоже это так…
@@burdinAI По поводу железа - не особо странно, по крайней мере исходя из опыта, а не из теории. Та же генерация картинок на одних и тех же моделях, с одинаковыми промптами и настройками тоже дает разные результаты. Проверял лично на пяти различных конфигурациях компов.
А если llama 3.1 8B, ранее была уже уже загружена? Ее все-таки сначала удалить с компа, а затем снова загружать, как показано здесь, в ролике?
Если грузили с ollama через терминал, то удаляйте и грузите через LM Studio, все будет намного проще.
@@burdinAI Удалил ранее загруженную ламу, после загрузки и открытия, LM не только не предложил скачать какую то модель, но даже после повторной загрузки Ламы (вне LM) в платформе LM нет никакого следа Ламы. Блин, что не так - то? Ребята, кто нибудь уже пробовал установить эту полезную приблуду на W 11?
@@almagor1000 В LM надо правильно сделать структуру подпапок в прописанной папке для хранения моделей. Должна быть подпапка с именем публикующего, например, TheBloke, в ней подпапка с названием модели, и уже в ней модель. Если скачать вне LM и просто бросить модель в папку, LM её не увидит. Сам на эти грабли наступил. Проще из LM скачать что-то, посмотреть, как она именует подпапки и сделать так же для своей ранее скачанной модели.
Это Кобольд умеет модель из любого места подцеплять, LM более строгая в этом плане
Какие системные требования для всего этого?
Там есть много моделей ЛЛМ для загрузки. Но если 8b, то нужно минимум 8Гб RAM и чтобы модель влезла в память GPU. Но в идеале, чтобы было от 16Гб RAM
@@burdinAI Спасибо.
Адрес именно сервиса а не сервера, так что всё правильно
👍