🔗 Ссылки из видео: 1. Платформа Ollama: ollama.com/ 2. Docker: www.docker.com/ 3. Openwebui: docs.openwebui.com/ 🗑 Чтобы удалить LLama: 1. Завершаем диалог, через команду /bye 2. Пишем ollama rm llama3.1:8b - и жмем enter 3. Если у вас модель 70b, то пишем ollama rm llama3.1:70b
Приветствую брата Колю! ))) Уже вышла llama 3.3, которая заметно умнее. Правда есть только в версии 70B, так что требует 64Гб памяти. И да. Оболочка LM Studio удобнее, чем Ollama. Банально проще ставить.
Если нет мощной игровой видеокарты Nvidia с 12-24Gb на борту / даже не пытайтесь повторить эксперимент / будете сильно разочарованы скоростью ответа вашего локального ИИ
Сильно, но модель 70 и выше для серверов, даже 4090 нормально не потянет ее, слишком много видео памяти кушает. Но и они по качестве уже приближаются в gpt 4.
Какую модель поставишь, то уметь и будет. Есть модели для программирования, создания историй и миров, помощи в бытовых вопросах, готовке или для всего и сразу. Однако всё же модели заточенные под что-то одно, понятное дело лучше. А умения её напрямую зависят от вашего пк.
🔗 Ссылки из видео:
1. Платформа Ollama:
ollama.com/
2. Docker:
www.docker.com/
3. Openwebui:
docs.openwebui.com/
🗑 Чтобы удалить LLama:
1. Завершаем диалог, через команду /bye
2. Пишем ollama rm llama3.1:8b - и жмем enter
3. Если у вас модель 70b, то пишем ollama rm llama3.1:70b
Конкретно эта модель на видео по мощности примерно как какая версия чата гпт? И можно ли отправлять в этот чат файлы?
Приветствую брата Колю! )))
Уже вышла llama 3.3, которая заметно умнее. Правда есть только в версии 70B, так что требует 64Гб памяти.
И да. Оболочка LM Studio удобнее, чем Ollama. Банально проще ставить.
так она и в видео есть) просто она требует больше
Здравствуйте расскажите про api и методы взаимодействия по api с локально установленой моделью?
Спасибо! Есть ли сборки для macos apple silicon? Слышали что-то?
есть ли возможность дома на компьютере развернуть нейросеть и через тг задавать ей вопросы?
ребята так же можно выбрать на какой диск можно поставить нейросеть: пишите cd D:\ и все пишите команду установки, по-сути это тот же самый линукс
а как её к инету подключить, чтобы давала актуальные ответы на вопросы ?
А нсли есть интернет, то эта лама подключается сама ?
Можно скачать не на диск с?
У меня он и так забит программами, я как могу его чищу, переношу все на диск д, а в инсталляторе все идет на с
да, установить через Power shell, команда:
.\ollamasetup.exe /DIR="d:/ollama"
@@Direcode
Спасибо большое! ***Обнял:3***
Кстати спасибо за гайд, давно хотел сделать подобное, но не знал как
А можно так же развернуть claude?
гугл говорит что да, сам не пробовал
@ как вариант для следующего видео)
Не пойму где происходит связка иламы с web ui?
Посредством API ollam-ы. В Docker идёт проброс данных с локального компа, в результате чего оболочка Webui получает доступ к модели ollama
@v4yve а где настройка webui на модель ollama?
@@tosick4 в панели администратора
Есть же LM Studio, меньше запариваться и функционал шире
Заметил что после установки Openwebui внутри оболочки нейросеть работает куда хуже, чем в режиме командной строки
Если нет мощной игровой видеокарты Nvidia с 12-24Gb на борту / даже не пытайтесь повторить эксперимент / будете сильно разочарованы скоростью ответа вашего локального ИИ
она картинки не распознает(
Сильно ли отличается качество ответов на 8b и 70b?
Сильно, но модель 70 и выше для серверов, даже 4090 нормально не потянет ее, слишком много видео памяти кушает. Но и они по качестве уже приближаются в gpt 4.
как открыть окно с терминалом после установки, у меня не получается..((
открыть пуск и в поиск написать cmd или "Командная строка". Так же можно использовать Windows Power Shell
Что у тебя по характеристикам компа процессор?
У меня райзен 7 7700 думаю потянет
i5 13400f
Пишет Сайт localhost не отправил данные. Что делать? куда копать?
Перезапустить докер
А можно скачать модель на другой диск каким то образом?
да, установить через Power shell, команда:
.\ollamasetup.exe /DIR="d:/ollama"
@Direcode хорошо, спасибо!
Что эта нейросеть умеет и что за базы данных использует? Откуда берет информацию, если не подключена к интернету?
Какую модель поставишь, то уметь и будет. Есть модели для программирования, создания историй и миров, помощи в бытовых вопросах, готовке или для всего и сразу.
Однако всё же модели заточенные под что-то одно, понятное дело лучше. А умения её напрямую зависят от вашего пк.
Привет, сними LM Studio если не сложно.
Он проще настраивается без танцев и бубна😮
Я сделал с помощью miniConda и использовал модели из GROQ
гпт 4о лучше, не устанавливайте
Крайнист...
А можно с Python связать?