ЛУЧШЕ скачать LM Studio. Выглядит красивее. Есть встроенный поиск и установка моделей(в поиске есть функция поиска моделий подходящих под пк). Всё сразу из коробки. Никаких команд для установки не нужно надо только скачать с официального сайта установщик, а он в свою очередь всё сам сделает. Можно прикреплять файлы и изображения. Даже русский язык интерфейса есть. Просто зачем эта куча заморочки которая показана в видео?
Спасибо за наводку поищу. С критикой полностью согласен. Жаль не нашёл на Ютубе Пока нормальных видео. В трендах выдаёт вот такой бред. Такие люди наверное хотят показать какие они крутые программисты. Напоминает операцию на глазах через анус. Открываем консоль терминал и чтобы было ещё круче машинный код.
на 100% согласен с вами. Единственное ограничение у локальных LLM - мощность железа / пробовал за последние полгода несколько раз на своем задохлике 4-х ядерном 5 летнем без видеокарты = жалкое зрелище 😄 / особенно после супер реактивного и бесплатного GROQ / кстати они добавили модель для распознавания изображения LLAVA
@@romanbolgar Ещё есть GPT4ALL. Программа по проще, но всё равно удобная. Есть встроенный поиск моделей, но без автоматического подбора под пк, но при этом около каждой модели написаны рекомендуемые системные требования. Пока нет русского языка интерфейса. А так в целом тоже хорошая программа.
Абсолютно согласен + бонусом получается гавно, которое либо хреново говорит на русском и не даёт те ответы, которые ты хочешь или вообще не говорит на русском...... Зачем такая заморочь ?
Три недели назад был ролик про установку ламмы локально через докер и прочие приложения Ролик классный, но покажите, пожалуйста, как установить ламму через vs code
Круто, Начал смотреть второе твоё вдиео, очень рад что у нас появился новый техноблогер про ноукод. Благодарен за то что ты делаешь. Контент пушка! продолжай пилить =) Кому непонятно смотрите повторно =)
Правильно ди я понимаю, что можно таким образом создать агента, который будет оперировать только пуллом информации, которую вы в него загрузите. К примеру, отвечаит на вопросы по конкретной книге, дейсвительно черпая содержание ответов из материала, а не с потолка?
Это так называемое rag-система. проще всего это ollama + gpt4all. полностью локальные системы. все делается через интерфейс мышкой. gpt4all умеет читать pdf и другие типы текстовых файлов. встроенная векторная бд. В общем намного проще. А в видео показана система для создания ии агентов. Пример простой но суть ии агентов в том что их может быть много. Они общаются между собой, у каждого агента своя роль. Кто то ищет, кто-то отвечает, кто-то проверяет, кто-то оформляет. Короче для вашего запроса n8n оверкилл. Начните с gpt4all.
А чем такое решение лучше LM studio? Я пока в нем вижу кучу минусов и ни одного плюса. Зависимость от внешних сервисов с регистрацией, необходимость в докере, который сожрет дополнительные ресурсы компа, излишняя замороченность в установке и настройке.
Спасибо, это конечно все здорово, но ванклик интереснее, то есть чтобы установить локально ИИ, просто скачав и установив один файл, если такие сервисы есть, пожалуйста дайте знать))❤
@@ЕвгенийФедулов-с6р 1. Инференс производится ядрами GPU. 2. Ядра GPU могут работать только с VRAM (доступ 10 - 100 нс, на скорости 200 - 1000 ГБ/сек) 3. Данные в VRAM попадают из RAM (доступ 50 -200 нс, на скорости 20-100 ГБ/сек). 4. Данные из SWAP попадают в RAM, только тогда, когда CPU обращается к странице памяти, а она помечена как выгруженная (доступ 100 000 нс, на скорости 16ГБ/сек для NVME PCIe Gen4). Грубо говоря, чтобы произошел инференс когда часть модели находится в файле подкачки, то вместо 10 нс может потребоваться подождать каких-то 110 000 нс. Разница на 4 порядка. И даже не важно будет использоваться Resizable BAR, Unified Memory в CUDA, DirectStorage, Memory Paging в Vulkan/OpenGL или AMD Smart Access Memory. Все эти методы ограничены самими технологиями доступа к памяти.
У меня при установке через терминал была ошибка: " npm error enoent ENOENT: no such file or directory, lstat 'C:\Users\user_name\AppData\Roaming pm' " Решение: перешёл по пути 'C:\Users\user_name\AppData\Roaming' и создал там папку npm Затем снова ввёл команду и всё установилось Нужно, чтобы показывались скрытые файлы и папки, иначе не найдёте эту директорию
Просто опишу как это должно быть в идальном мире. 1) Скачал архивы. 2 ) выключил интернет. 3) Запустил инсталер. 4) После установки отрывается чат на русском языке (опция выбрать язык). 5) Если надо включил интернет, дал любую ссылку парсер сам сделал токены. Внес в предварительную базу. Почему не сразу в свою базу потому, что мусора в сети много. 6) Если комуто нужен конструтор для подключения сервисов API и.т.д. оплатили скачали архив все оно дальше само спросит нужно это подключить ок. 😊
А есть идейка, делай 2-й канал, Лайв канал, туда стримы и вот Игоряша может на тестах что то залить, или когда что то информативное, долгое. Отсюда кто то прийдет туда и тот канал тебе подкинет сюда людей. Извини если оставил тебя без отпуска )
Всё это в любой момент посыпется, как карточный домик из-за сложной технологической цепочки внешних API сервисов. Жаль, а я думал и правда локальная будет реализация, а оказалось просто кликбейт
Можно все развернуть локально, но увы, автор не потрудился этим заняться. Гугл драйв нужен лишь, чтобы внешние сервисы могли векторизировать данные, а это в целом делается довольно просто и локально, при помощи отдельных запущенных моделей. Так же и с эмбедингами. Как мы это сделали, мы получили векторную базу, можно при помощи эластика или других инструментов обращаться к нашей базе. А дальше это промпт инженеринг и actions. Все. Делается сложнее и больнее. Сразу скажу, в таком случае и при большом объеме данных, вы сильно потеряете в производительности и минимум 16GB VRAM будет съедено, от чего требуется от 32GB VRAM. Модель туповата, а более требовательные запустить будет трудно, разве у вас не мак c 128GB unified memory. Сейчас в процессе обучения llama3.1 8b, в целом это хорошо, если вам нужно впихнуть конкретные знания, что не меняются со временем, ибо это процесс не легкий и крайне затратный по ресурсам. Ну и не для новичков конечно же. Если уж вам будет очень интересно всем, могу написать статью на хабр или же снять ролик, но ничего не обещаю
а для чего это все? не очень понимаю, типо настраиваешь своего ии бота, а кто его использовать будет и дальше что? я просто все пытаюсь понять как на этом всем можно какойто бизнес построить и пока что вижу видос а в голове шипящий телик :DDD
Настрой локально, оберни в докер, залей в облако как сервис. Если ты про то как свою игрушку превратить в сервис в инете конечно. Еще можешь сделать агентов чисто локальных в заведениях там всяких.
Посмотрел целиком. Сам пример общения с пдф файлом через такие костыли выглядит как открыванте пива жопой и совсем не понятно, какие преимущества такой способ дает.. в каком месте это лучше и более фкнкционально чем использовать для этого иное любое готовое решение.
Боже как всё просто. Чем дальше тем проще. Это какой-то квест. Это не установка. Наверное дядя не застал в те времена когда были старые добрые экзешники. Там достаточно было одного клика чтобы программа установить. А здесь зайти туда зайти на Google Диск там включить там подключить Там взять ключ... Я думаю 20 минут не предел. Дальше наверное установку ещё больше упростят до часа. Мир Идиократии во всей красе. Не устану повторять сапожники без сапог. Собрать в экзешник программисты не могут. Вот уж действительно ловкот
⭐⭐⭐ ПОЛЕЗНЫЕ ССЫЛКИ ИЗ РОЛИКА - mnlp.cc/mini?domain=how2ai&id=8
Если приходится задействовать гугл-консоль, Pinecone или еще кого-то на сороне, то это уже как бы выходит за рамки локального решения.
ЛУЧШЕ скачать LM Studio. Выглядит красивее. Есть встроенный поиск и установка моделей(в поиске есть функция поиска моделий подходящих под пк). Всё сразу из коробки. Никаких команд для установки не нужно надо только скачать с официального сайта установщик, а он в свою очередь всё сам сделает. Можно прикреплять файлы и изображения. Даже русский язык интерфейса есть. Просто зачем эта куча заморочки которая показана в видео?
Спасибо за наводку поищу. С критикой полностью согласен. Жаль не нашёл на Ютубе Пока нормальных видео. В трендах выдаёт вот такой бред. Такие люди наверное хотят показать какие они крутые программисты. Напоминает операцию на глазах через анус. Открываем консоль терминал и чтобы было ещё круче машинный код.
на 100% согласен с вами. Единственное ограничение у локальных LLM - мощность железа / пробовал за последние полгода несколько раз на своем задохлике 4-х ядерном 5 летнем без видеокарты = жалкое зрелище 😄 / особенно после супер реактивного и бесплатного GROQ / кстати они добавили модель для распознавания изображения LLAVA
@@romanbolgar Ещё есть GPT4ALL. Программа по проще, но всё равно удобная. Есть встроенный поиск моделей, но без автоматического подбора под пк, но при этом около каждой модели написаны рекомендуемые системные требования. Пока нет русского языка интерфейса. А так в целом тоже хорошая программа.
Абсолютно согласен + бонусом получается гавно, которое либо хреново говорит на русском и не даёт те ответы, которые ты хочешь или вообще не говорит на русском...... Зачем такая заморочь ?
Владельцы мака легких решений не ищут 😂
Только что хотел найти подобное видео, и мне в реках выдало этот видос, видимо ютуб прочитал мои мысли, спасибо за видео!
n8n вообще не локальный, у него бесплатный период около недели. Но n8n конечно бомбический, это лучшее что я пробовал за долгое время
подождите..... его локально можно юзать?! Щиеееет
Зашёл посмотреть локальное решение всё-таки. Было бы интересно посмотреть про всю локальную обвязку
Ничего не понятно, но очень интересно....
Локалочки - будущее )
Три недели назад был ролик про установку ламмы локально через докер и прочие приложения
Ролик классный, но покажите, пожалуйста, как установить ламму через vs code
Он просто скипает в гайде самые важные аспекты при настройки платформы, просто на кайфе чел
Круто, Начал смотреть второе твоё вдиео, очень рад что у нас появился новый техноблогер про ноукод. Благодарен за то что ты делаешь. Контент пушка! продолжай пилить =) Кому непонятно смотрите повторно =)
Спасибо. Интересно. Пользоваться я этим, конечно же, не буду. Ибо так заморачиваться, когда есть тот же make, смысла нет.
Ничего не понятно, но очень интересно😊
Топ ❤
Правильно ди я понимаю, что можно таким образом создать агента, который будет оперировать только пуллом информации, которую вы в него загрузите. К примеру, отвечаит на вопросы по конкретной книге, дейсвительно черпая содержание ответов из материала, а не с потолка?
Все так. Это можно и в любом сервисе от опенаи до перплексити сделать
Это так называемое rag-система. проще всего это ollama + gpt4all. полностью локальные системы. все делается через интерфейс мышкой. gpt4all умеет читать pdf и другие типы текстовых файлов. встроенная векторная бд.
В общем намного проще. А в видео показана система для создания ии агентов. Пример простой но суть ии агентов в том что их может быть много. Они общаются между собой, у каждого агента своя роль. Кто то ищет, кто-то отвечает, кто-то проверяет, кто-то оформляет. Короче для вашего запроса n8n оверкилл. Начните с gpt4all.
Класс, надо будет на выходных поиграться )
Мега полезно!
спасибо
А чем такое решение лучше LM studio? Я пока в нем вижу кучу минусов и ни одного плюса. Зависимость от внешних сервисов с регистрацией, необходимость в докере, который сожрет дополнительные ресурсы компа, излишняя замороченность в установке и настройке.
Спасибо, это конечно все здорово, но ванклик интереснее, то есть чтобы установить локально ИИ, просто скачав и установив один файл, если такие сервисы есть, пожалуйста дайте знать))❤
LMStudio
@@IvanKoman-gd7jl почитал комменты, принял-понял! Спасибо
А можно подключить SSD и использовать его как файл подкачки, чтобы запускать гораздо более мощные модели!🎉🎉🎉
Как это сделать?
только вот скорость инференса снизится в десятки раз. готовы ждать очередное слово около минуты ?
@@vifvrTtb0vmFtbyrM_Q посмотри видео по этому вопросу: всё нормально работает
@user-mt7jb8kx8u ссылка видео обрадует много людей 😁🙏
@@ЕвгенийФедулов-с6р
1. Инференс производится ядрами GPU.
2. Ядра GPU могут работать только с VRAM (доступ 10 - 100 нс, на скорости 200 - 1000 ГБ/сек)
3. Данные в VRAM попадают из RAM (доступ 50 -200 нс, на скорости 20-100 ГБ/сек).
4. Данные из SWAP попадают в RAM, только тогда, когда CPU обращается к странице памяти, а она помечена как выгруженная (доступ 100 000 нс, на скорости 16ГБ/сек для NVME PCIe Gen4).
Грубо говоря, чтобы произошел инференс когда часть модели находится в файле подкачки, то вместо 10 нс может потребоваться подождать каких-то 110 000 нс.
Разница на 4 порядка. И даже не важно будет использоваться Resizable BAR, Unified Memory в CUDA, DirectStorage, Memory Paging в Vulkan/OpenGL или AMD Smart Access Memory. Все эти методы ограничены самими технологиями доступа к памяти.
круто классно Но "научим работать с файлами" 0:10 эм где ?
Пролистал видео и комменты. Твой коммент всё объяснил видео закрываем.
Спасибо.
У меня при установке через терминал была ошибка:
" npm error enoent ENOENT: no such file or directory, lstat 'C:\Users\user_name\AppData\Roaming
pm' "
Решение: перешёл по пути 'C:\Users\user_name\AppData\Roaming' и создал там папку npm
Затем снова ввёл команду и всё установилось
Нужно, чтобы показывались скрытые файлы и папки, иначе не найдёте эту директорию
принцип чтения из бд понятен, а как обновлять в базе информацию?
А не с гуглом работать будет? И какие аналоги есть ( гугл дока(?
Просто опишу как это должно быть в идальном мире.
1) Скачал архивы.
2 ) выключил интернет.
3) Запустил инсталер.
4) После установки отрывается чат на русском языке (опция выбрать язык).
5) Если надо включил интернет, дал любую ссылку парсер сам сделал токены. Внес в предварительную базу.
Почему не сразу в свою базу потому, что мусора в сети много.
6) Если комуто нужен конструтор для подключения сервисов API и.т.д. оплатили скачали архив все оно дальше само спросит нужно это подключить ок. 😊
А можно было ссылки и тут в закрепе оставить ... и вроде ребята писали уже, себя можно по меньше сделать? пол экрана лицо...
А есть идейка, делай 2-й канал, Лайв канал, туда стримы и вот Игоряша может на тестах что то залить, или когда что то информативное, долгое.
Отсюда кто то прийдет туда и тот канал тебе подкинет сюда людей.
Извини если оставил тебя без отпуска )
Поиграть на укулеле тоже можно )
Я нашел сходство, ваше имя и фамилия очень схожи с таким ютубером Quantum games, его зовут Даниил Гаврилов😅
Всё это в любой момент посыпется, как карточный домик из-за сложной технологической цепочки внешних API сервисов.
Жаль, а я думал и правда локальная будет реализация, а оказалось просто кликбейт
Можно все развернуть локально, но увы, автор не потрудился этим заняться.
Гугл драйв нужен лишь, чтобы внешние сервисы могли векторизировать данные, а это в целом делается довольно просто и локально, при помощи отдельных запущенных моделей. Так же и с эмбедингами.
Как мы это сделали, мы получили векторную базу, можно при помощи эластика или других инструментов обращаться к нашей базе.
А дальше это промпт инженеринг и actions. Все.
Делается сложнее и больнее. Сразу скажу, в таком случае и при большом объеме данных, вы сильно потеряете в производительности и минимум 16GB VRAM будет съедено, от чего требуется от 32GB VRAM.
Модель туповата, а более требовательные запустить будет трудно, разве у вас не мак c 128GB unified memory.
Сейчас в процессе обучения llama3.1 8b, в целом это хорошо, если вам нужно впихнуть конкретные знания, что не меняются со временем, ибо это процесс не легкий и крайне затратный по ресурсам. Ну и не для новичков конечно же.
Если уж вам будет очень интересно всем, могу написать статью на хабр или же снять ролик, но ничего не обещаю
в N8N я так понял нельзя привязать синтез речи по API. чисто агенты текстовые.
Можно запросто
Опа, "зiбров" в молодости
а для чего это все? не очень понимаю, типо настраиваешь своего ии бота, а кто его использовать будет и дальше что? я просто все пытаюсь понять как на этом всем можно какойто бизнес построить и пока что вижу видос а в голове шипящий телик :DDD
Настрой локально, оберни в докер, залей в облако как сервис. Если ты про то как свою игрушку превратить в сервис в инете конечно. Еще можешь сделать агентов чисто локальных в заведениях там всяких.
@@DmitryPesegov и с этого можно както денежку лутать?)
@@luckybeard9159это уже предпринимательский вопрос. Кому-то дано кому-то не очень😅
Anthropic так и не смог подтянуть. У кого вышло?
Посмотрел целиком. Сам пример общения с пдф файлом через такие костыли выглядит как открыванте пива жопой и совсем не понятно, какие преимущества такой способ дает.. в каком месте это лучше и более фкнкционально чем использовать для этого иное любое готовое решение.
17:28 он показывает 3.8 B
Оаусф 😂
Есть ии где по референсам рисует?
Google Cloud работает из России?
Нет)
у кого засада с подключением гугл аутентификации на канале н8н есть более внятный мануал
а зкчем всё это ???
Боже как всё просто. Чем дальше тем проще. Это какой-то квест. Это не установка. Наверное дядя не застал в те времена когда были старые добрые экзешники. Там достаточно было одного клика чтобы программа установить. А здесь зайти туда зайти на Google Диск там включить там подключить Там взять ключ... Я думаю 20 минут не предел. Дальше наверное установку ещё больше упростят до часа. Мир Идиократии во всей красе. Не устану повторять сапожники без сапог. Собрать в экзешник программисты не могут. Вот уж действительно ловкот
Ебень не мог просто в описани выложить ссылку на гитхаб, без ебучего телеграмм)
Зачем ты вообще свое лицо в гайды вставляешь, просили же убрать
создавай ИИ агентом и просирай бабки на API запросы