Если что кол-во параметров это не про то сколько жесткого диска нужно, а сколько видео-памяти (или РАМ в зависимости от архитектуры) нужно чтобы модель могла работать (ну если просто говорить)
В описании к каждой модели указаны языки, которые она поддерживает. В основном русского нет. Обычно это English, German, Spanish, French, Japanese, Portuguese, Arabic, Czech, Italian, Korean, Dutch, Chinese (Simplified).
@@thebigfrogg Я просто установил приложение DeepSeek на смартфон и выбрал сразу R1 и на русском языке запросы обрабатываются нормально. Только во время Thinking иногда текст идёт на английском, но сам вывод конечной информации на русском.
msg="failed to lookup CPU details" error="failed to gather processor information ret:0 buflen:2656 The data area passed to a system call is too small."
Я кстати на днях у себя в докере с CUDA ядрами поднам ламу с этой нейронкой, ответы на русские вопросы оставляют желать лучшего. Мне сказали разговаривать с этой нейронкой на английском или китайском языке
@@MultiVenom88 мне как пользователю было важно проверить как он пишет код. Умнее он или нет. Железо я не тестировал) Обе версии выдавали устаревшие или неверные данные. Было необходимо давать новые запросы.
Не советую использовать "Ламу", потому что сервер таким весом точно не нужен. Эта "Лама" стукач дяде "Сему" или "Мета" что именно ты спрашиваешь и вообще что думаешь хорошего или плохого про них. Категорически рекомендую использовать документацию которую выкладывают создатели DeepSeek.
@@5384s расскажи тогда пожалуйста что может занимать 1 Гб в этой "Ламе". На мой взгляд там нейросеть которая анализирует о чем идет речь и собирает данные. Практически уверен что без доступа к сети эта "Лама" откажется работать.
А можно ли его запустить в качестве локального сервера AI в корпоративной сети, где есть ограничения по выходу в Интернет для юзерей? Да, можно запустить его локально на ПК, но хотелось бы настроить так, чтобы юзера в качестве AI-клиентов пользовались этой нейронкой, но только через локальный корпоративный AI-сервер.
А что запрещает? Чем кардинально отличается запуск на локальном ПК от запуска на сервере внутри сети? Да ничем, помимо того, что вы 1) открываете порты, если требуется 2) делаете балансировку, если требуется 3) делаете днс имя, если требуется Единственная проблема, которая у вас может возникнуть, это бюрократия в компании и согласование безопасников, если у вас не проходной двор, конечно. А с технической то стороны вообще никаких проблем нет. То есть в первую очередь вы должны получить "ок" внутри вашей компании) А там дело техники все решается.
Может вполне, как и любая другая LLMка. Правда, обычно ее для целей анализа логов лучше файнтюнить, тут особо не помогут промты. Но 1. дипсик для этой задачи я б вообще не брал, уж кого-кого, но он слишком многословный с его этим thinking, он блин больше текста сгенерит, чем логов нужно прочитать. 2. Вообще, для логов LLM это как *из пушки по воробьям*, конечно. Это довольно избыточно и очень, скажем так, "дорого" выйдет вам ( а может быть даже и во вред с приколами LLM ). Если вам нужно какое-то решение не по приколу, а именно для продуктивного использования, то для логов до сих пор прекрасно работают дедовские методы эвристики и ML "из прошлого века" с помощью кластеризации, классификации и прочих прекрасных методов, которые кладутся поверх базовых нормализации и токенизации. Можно применять lstm, kmeans, изоляцию деревьев и прочие штуки для детекции аномалий и это до сих пор прекрасно работает и не имеет приколов LLM. И к тому же, довольно 1) легковесно 2) не требует огромных мощей 3) завести можно даже на тапке, внутри того же Clickhouse бОльшую часть без доп. ПО без необходимость держать огрмоное нечто пожирающее GPU ради реально пустой работы
Привет Денис. В последнее время стали популярны менторы которые с нуля учат тебя девопсу за 6-7 месяцев и крутят до миддл уровня опыт в резюме и помогают устраивать на работу. Цена : 40 тыс рублей + 100% от первого зп. Как считаешь, это скам или норма?
Кто не умеет работать с консолью или боится терминалов, есть решение куда проще с нормальным привычным интерфейсом, называет LM Studio, всё тоже самое, только через кнопки и на Русском языке, плюс ещё можно видить сколько у каждой модели скачиваний, оценки пользователей и куча всего.
В описании к каждой модели указаны языки, которые она поддерживает. В основном русского нет. Обычно это English, German, Spanish, French, Japanese, Portuguese, Arabic, Czech, Italian, Korean, Dutch, Chinese.
Много видел подобных видео, о том, как локально запускать LLM. Но всегда казалось, что это сложно, да и ноутбук у меня старый 2017 года 4 гб vram, 8 gb ram. Но после этого видео всё таки решил попробовать. Начал с модели на 1.5 b, работало быстро, но качество ответов было низким. Я решил попробовать следующую по кол-ву параметров модель, ответы были уже получше, но скорость низкой. Все ядра процессаора были нагружены на максимум. А потом ноутбук просто выключился, и уже не включился. Я его, конечно, давно хотел поменять. Но не так внезапно, еще и из-за того, что llm на нем запустил. На сколько мне известно, он аварийно должен был выключиться. Но может быть, из-за того, что у меня Ubuntu, не отработало аварийное отключение как надо.
Возможно не нашёл он драйверов работал от процессора, я к примеру не мог stable diffusion использовать из-за того, что видеокарта amd у меня, как я понял адекватно работают только на nvidia нейросети, на amd работают на каких то последних видеокартах, или от rx 6000 используется видеокарта
Да там уже пишут , что убийца убийц вышел уже в виде Qwen2.5-Max , который якобы мощнее R1 , обзоры уже пошли .. Амеры вообще пока остались где то там в прошлом веке , особенно со своими ценами.
Скажите а топовая модель deepseek которая 400 гб, это она требует столько видеопамяти или на ссд? Если я возьму ссд на террабайт то на моей 4060 заработает топовая модель дип сик?
Доброе утро ты пользуешься интернетом тут почти каждый сайт на тебе собирает информацию которую продает. А если развернуть локально, то как он будет с тебе собирать информацию? ему интернет не нужен
А чем это лучше, чем chat GPT или другие нейронки, с которыми можно не только общаться но и создавать видео и фото. В чем приемущество этого? ведь он столько GPU жрет и места на жестком диске, а там зашел на сайт и сделал всё что тебе надо без всяких проблем.
@@Cortman77 с одной стороны да, а с другой стороны - любая информация может оказаться полезной, и использоваться в том числе в распространении вредоносов. Иначе бы китайцы не брутфорсили просто так тоннами VPSки, не сканили миллиардами запросов все стеи вокруг. Ну типа а зачем им это надо? Ну вот и тут также.
Денис, очень инетересно! Спасибо! Продолжай эксперементировать и рассказывать нам, пожалуйста)
Вижу ещё 2 части. Обязательно посмотрю.
Привет Денис, еще можно докер контейнер запустить с вэб интерфейсом open-webui например )). Будет удобнее общаться с моделью R1.
а как не подскажешь?)
Полезное видео. Спасибо Денис.
Кстати олама работает похоже как докер)
Очень похоже
Если что кол-во параметров это не про то сколько жесткого диска нужно, а сколько видео-памяти (или РАМ в зависимости от архитектуры) нужно чтобы модель могла работать (ну если просто говорить)
До чего дошел прогресс
Thanks a lot of for this video!
Спасибо Денис, интересная тема. Кто нибудь проверял актуальные знания каким числом заканчиваются ?
Шикарно. Спасибо друг!
Очень инетерсно. А можно как-то доучить её? Добавив в неё какие-нибудь внутренние документы отчёты и так далее? И русския язык там есть?
В описании к каждой модели указаны языки, которые она поддерживает. В основном русского нет. Обычно это English, German, Spanish, French, Japanese, Portuguese, Arabic, Czech, Italian, Korean, Dutch, Chinese (Simplified).
@@ninjasassasin3224 в основном приложении русский поддерживается
@@thebigfrogg Русский язык полностью поддерживается, в эти дни пишу запросы в этом AI на русском языке и DeepSeek нормально отвечает также на русском.
@@osada96 На локальной R1?
@@thebigfrogg Я просто установил приложение DeepSeek на смартфон и выбрал сразу R1 и на русском языке запросы обрабатываются нормально. Только во время Thinking иногда текст идёт на английском, но сам вывод конечной информации на русском.
Хорошо бы было упомянуть и про ChatBox AI.
Только UI он, а не AI)
Уже везде по привычке AI пишут))
@@CatWorldson согласен. Слово настолько хайповое, что на автомате используется. :)
Ну с таким ноутом конечно! Туда сюда десяток миллиардов параметров))) Спасибо за информацию!
Будет выдео как я запустил 70B модель на этом лэптопе и как он справился или не справился
@@ADV-IT о! Это супер! Спасибо. Там прикол что когда не хватает ресурсов начинают артефакты в виде китайских иероглифов вылазить.
Супер! Спасибо большое-очень полезно.Идет ли сетевой обмен?
А какой практический смысл от deepSeek для чего это нужно
Очень интересно. Без GPU не будет работать? У меня есть серверы с большим количеством CPU, memory и disks.
И возможно ли общаться с моделью с фото?
msg="failed to lookup CPU details" error="failed to gather processor information ret:0 buflen:2656 The data area passed to a system call is too small."
не отстаём от хайп трейна)
Подписку gpt на февраль уже можно отменять?🤖
upd: после слов «нужен диск 400гб» стало понятно, что пусть подписка остается😃
deepseek-r1:70b всего 49GB
😂😂
@@ADV-IT при чем тут вообще обьем занимаемого места на диске если для запуска нужен такой обьем GPU RAM или хотя бы обычной RAM
Судя по новостям, что китайское пр-во имеет контроль над deepseek, США возможно кинет его в бан) Я работаю с deepseek-r1:70b и работает ок.
Я кстати на днях у себя в докере с CUDA ядрами поднам ламу с этой нейронкой, ответы на русские вопросы оставляют желать лучшего. Мне сказали разговаривать с этой нейронкой на английском или китайском языке
Жаль, мб в большой версии она лучше понимает Русский, какая версия у тебя была? сколько весила
worth listening to))
Денис как ваш личный опыт с deepseek сравнимо с гпт? стоит вообще таким заниматься
Я не Денис но по моим тестам он не лучше чем ChatGPT. (Тестировал написание кода. Он совершил точно такие же ошибки )
@@Mike94W85D лучше, он менее требователен к железу при том же результате
@@MultiVenom88 мне как пользователю было важно проверить как он пишет код. Умнее он или нет. Железо я не тестировал)
Обе версии выдавали устаревшие или неверные данные. Было необходимо давать новые запросы.
Тоже самое только цензура тут другая, на вопросы про Китай интересно отвечает
Не советую использовать "Ламу", потому что сервер таким весом точно не нужен. Эта "Лама" стукач дяде "Сему" или "Мета" что именно ты спрашиваешь и вообще что думаешь хорошего или плохого про них. Категорически рекомендую использовать документацию которую выкладывают создатели DeepSeek.
ох уж эти сторонники теорий заговоров про дядей Сэмов
@@5384s расскажи тогда пожалуйста что может занимать 1 Гб в этой "Ламе". На мой взгляд там нейросеть которая анализирует о чем идет речь и собирает данные. Практически уверен что без доступа к сети эта "Лама" откажется работать.
@@ОлегГончаров-э9д для "воровства" данных достаточно пары строчек в коде. И без интернета всё работает, если скачать модели
Привет! Как его интегрировать с приватным gitlab?) Денис, если знаешь - запили видео об интеграции с гитлаб.
Спасибо!
а почему скачать такой массивный файл, если можно использовать в браузере?
Security
сколько уроков до open webui?
А можно ли его запустить в качестве локального сервера AI в корпоративной сети, где есть ограничения по выходу в Интернет для юзерей?
Да, можно запустить его локально на ПК, но хотелось бы настроить так, чтобы юзера в качестве AI-клиентов пользовались этой нейронкой, но только через локальный корпоративный AI-сервер.
судя по скриншоту 4.13 не проблема, olama уже web-сервер.
А что запрещает? Чем кардинально отличается запуск на локальном ПК от запуска на сервере внутри сети?
Да ничем, помимо того, что вы 1) открываете порты, если требуется 2) делаете балансировку, если требуется 3) делаете днс имя, если требуется
Единственная проблема, которая у вас может возникнуть, это бюрократия в компании и согласование безопасников, если у вас не проходной двор, конечно. А с технической то стороны вообще никаких проблем нет. То есть в первую очередь вы должны получить "ок" внутри вашей компании) А там дело техники все решается.
@@CatWorldson А если его настроить в своей внутренней сети, то происходит ли синхронизация баз локальной версии с онлайн-версией?
Второе видео запросы на Ollama Server в сети по URL
без GPU имеет смысл работать, если процессор довольно мощный?
Это который убийца Чат ГПТ новый?
Шикарно
Спасибо 🙏
Нейронка видит локальные файлы может анализировать логи?
Может вполне, как и любая другая LLMка. Правда, обычно ее для целей анализа логов лучше файнтюнить, тут особо не помогут промты.
Но
1. дипсик для этой задачи я б вообще не брал, уж кого-кого, но он слишком многословный с его этим thinking, он блин больше текста сгенерит, чем логов нужно прочитать.
2. Вообще, для логов LLM это как *из пушки по воробьям*, конечно. Это довольно избыточно и очень, скажем так, "дорого" выйдет вам ( а может быть даже и во вред с приколами LLM ).
Если вам нужно какое-то решение не по приколу, а именно для продуктивного использования, то для логов до сих пор прекрасно работают дедовские методы эвристики и ML "из прошлого века" с помощью кластеризации, классификации и прочих прекрасных методов, которые кладутся поверх базовых нормализации и токенизации. Можно применять lstm, kmeans, изоляцию деревьев и прочие штуки для детекции аномалий и это до сих пор прекрасно работает и не имеет приколов LLM. И к тому же, довольно 1) легковесно 2) не требует огромных мощей 3) завести можно даже на тапке, внутри того же Clickhouse бОльшую часть без доп. ПО без необходимость держать огрмоное нечто пожирающее GPU ради реально пустой работы
Привет Денис. В последнее время стали популярны менторы которые с нуля учат тебя девопсу за 6-7 месяцев и крутят до миддл уровня опыт в резюме и помогают устраивать на работу. Цена : 40 тыс рублей + 100% от первого зп. Как считаешь, это скам или норма?
По цене не знаю сколько это много или мало.
Но если есть ментор и он готов 6 месяцев с тоой заниматься то круто.
@ ну разве реально за 6 месяцев быть миддл девопс с нуля?)
а русский язык как включить и есть ли он в дипсике?
Просто задавай вопросы на русском, он на русском ответит
а как изменить путь, чтобы он не скачивал на диск С?
Создай Environment Variable:
OLLAMA_MODELS=D:\MyModels
Это нужно ПЕРЕД запуском ollama serve
спасибо, получилось!
Скажите мне непонимающему зачем её устанавливать на комп если можно пользоваться онлайн?
Security
Мне больше LM Studio нравится. Проще и с GUI сразу
Кто не умеет работать с консолью или боится терминалов, есть решение куда проще с нормальным привычным интерфейсом, называет LM Studio, всё тоже самое, только через кнопки и на Русском языке, плюс ещё можно видить сколько у каждой модели скачиваний, оценки пользователей и куча всего.
интересно, а можно с локальной модели через LM Studio получить Api для интеграции в бот телеграмм ?
@@multiaccountbrowser1549 такая возможность точно есть, у zproger было видео на днях на эту тему.
Можно ли установить чат ИИ deepseek на телефоне Samsung Galaxy S23 Ultra?
Спасибо.
нет
Используй онлайн версию
Можешь устангвить на пк, и с телефона через интернет удаленно получать доступ к пк и к ии
А какие языки поддерживает модель?
У неё как раз и нужно спросить
В описании к каждой модели указаны языки, которые она поддерживает. В основном русского нет. Обычно это English, German, Spanish, French, Japanese, Portuguese, Arabic, Czech, Italian, Korean, Dutch, Chinese.
А зачем это нужно?
О великий гуру, как отучиться от венды, железного_сервера, и привычки запускать всё на своём ноутбуке???
Как вариант посмотреть в сторону Jan c jan точка ai или с гитхаба, куда интереснее и действительно проще....
Много видел подобных видео, о том, как локально запускать LLM. Но всегда казалось, что это сложно, да и ноутбук у меня старый 2017 года 4 гб vram, 8 gb ram.
Но после этого видео всё таки решил попробовать. Начал с модели на 1.5 b, работало быстро, но качество ответов было низким.
Я решил попробовать следующую по кол-ву параметров модель, ответы были уже получше, но скорость низкой. Все ядра процессаора были нагружены на максимум.
А потом ноутбук просто выключился, и уже не включился.
Я его, конечно, давно хотел поменять. Но не так внезапно, еще и из-за того, что llm на нем запустил.
На сколько мне известно, он аварийно должен был выключиться. Но может быть, из-за того, что у меня Ubuntu, не отработало аварийное отключение как надо.
Возможно не нашёл он драйверов работал от процессора, я к примеру не мог stable diffusion использовать из-за того, что видеокарта amd у меня, как я понял адекватно работают только на nvidia нейросети, на amd работают на каких то последних видеокартах, или от rx 6000 используется видеокарта
Нихрена себе поэксперементировал, мож ударь его справа, может заработает
@@QuickMixKZ следующим видео должно быть, как AI убивает технику )))
@@QuickMixKZ понял. Спасибо. На ноутбуке не проверять)
Я тоже устанавливал себе до этого, только другие версии, на ноутбук, по одной букве в секунду 😂, и потом бросил
Удобнее поднимать с OpenWebUI
А как у вас так быстро в командной строке появляется ollama.exe? Сниппет добавили?
Начни писать и нажми TAB
Да там уже пишут , что убийца убийц вышел уже в виде Qwen2.5-Max , который якобы мощнее R1 , обзоры уже пошли .. Амеры вообще пока остались где то там в прошлом веке , особенно со своими ценами.
RTX 3080 - 16GB что-ли? 🤔🤔
Ага
Скажите а топовая модель deepseek которая 400 гб, это она требует столько видеопамяти или на ссд? Если я возьму ссд на террабайт то на моей 4060 заработает топовая модель дип сик?
Там по-моему нужно около 300GB видео памяти, попробуй запустить напишет не достаточно памяти.
если предлагают чтото бесплатное и удобное, то продукт это вы. тем более китайцы. автору спасибо за видео!
Доброе утро ты пользуешься интернетом тут почти каждый сайт на тебе собирает информацию которую продает. А если развернуть локально, то как он будет с тебе собирать информацию? ему интернет не нужен
А чем это лучше, чем chat GPT или другие нейронки, с которыми можно не только общаться но и создавать видео и фото. В чем приемущество этого? ведь он столько GPU жрет и места на жестком диске, а там зашел на сайт и сделал всё что тебе надо без всяких проблем.
Откуда вы знаете, может в этих файлах прячется вирус, который копипует все и отправляет в чайна😂
Твой пароль от почты, китайцам не нужен
@@MyAntonioiузколобость это печально☹️
@@xxxxxxxxx3331 не ну правда ведь, чем ты вася пупкин со своими запросами житейскими им интересен?
@@Cortman77 с одной стороны да, а с другой стороны - любая информация может оказаться полезной, и использоваться в том числе в распространении вредоносов. Иначе бы китайцы не брутфорсили просто так тоннами VPSки, не сканили миллиардами запросов все стеи вокруг. Ну типа а зачем им это надо? Ну вот и тут также.
@@CatWorldson в отношении рядовых пупкиных если только рекламу навязывать, о каких VPSках речь? Которую ты для впнки завел?)
на русском разговаривать нельзя?
Тебе куда 64гб оперативки в ноутбук
Чтобы notepad хорошо работал
Китай решил пойти вперед и собрать еще больше данных, все хлопая ушами подхватили это и с удовольствием начали делится…
100%! Поэтому если использовать то только локально
@ а откуда гарантия, что нет backdoor? 🤔
@@vladshihov5050 Запусти ollama run когда у тебя не подключен к интернету
@@ADV-IT я может параноик, но что мешает сохранить в папочку и загрузить когда интернет появится? 🤔
@@vladshihov5050 Так ведь ollama сервер ты же выключишь и он не китайский, а модель это статический файл.
Спасибо!