А как саму модуль дообучить, которую скачал с сайта ollama, не прибегая к дополнительному запуску параллельно еще какого то ресурса. У Ollama уже есть своя возможность обмена по REST API. Скажем забрать Phi3.5 и докидать в ту модель инфы по своим doc или Pdf и юзать напрямую Ollama через REST API.
Это вам, скорее всего, нужно Open WebUI использовать. Там такая возможность есть - добавить к модели свою базу знаний из документов и - хоть локально, хоть раздавать доступ другим пользователям.
@user-ml8985-g6m с разными студиями через RAG или как там называется я делал . Но это программа посредник (назовем ее так) съедает часть ресурсов . Модель работает быстрее если это все зашито в основную ее базу.
Лайфхаки здесь: t.me/AiExp01/115 все ссылки см. здесь: t.me/AiExp01/112
На 5:22 всё прекрасно: у модели спрашивают что такое RAG, а она отвечает про какой-то метод par)))
Хорошо что папал на Ваш канал, круто.
Посмотрите еще один локальный вариант здесь: th-cam.com/video/G2lG8j-xg1Y/w-d-xo.htmlsi=55Jb4IPtSi1nmA9I
Спасибо, отличное, исчерпывающее видео
Спасибо
Ультра круто, а не смотрели в сторону GraphRAG? тоже очень крутая технология
А как саму модуль дообучить, которую скачал с сайта ollama, не прибегая к дополнительному запуску параллельно еще какого то ресурса. У Ollama уже есть своя возможность обмена по REST API. Скажем забрать Phi3.5 и докидать в ту модель инфы по своим doc или Pdf и юзать напрямую Ollama через REST API.
Это вам, скорее всего, нужно Open WebUI использовать. Там такая возможность есть - добавить к модели свою базу знаний из документов и - хоть локально, хоть раздавать доступ другим пользователям.
@user-ml8985-g6m с разными студиями через RAG или как там называется я делал . Но это программа посредник (назовем ее так) съедает часть ресурсов . Модель работает быстрее если это все зашито в основную ее базу.
Добрый день, можно ли это завернуть в граф. интерфейс ?
Да, можно, см. п.Как прикрутить GUI здесь: t.me/AiExp01/115