Интересны самые мощные модели, которые доступны. Некий топ. Да, некоторые компьютеры и сервера не вытянут, но увидеть самый топ, что доступно для личного пользования - было бы шикарно!
Насколько я знаю есть модельки 70b и вроде даже 150+, там уже мощности сопоставимы с коммерческими версиями openai, но запустить их у себя дома не представляется возможным, оборудование будет стоить около 200к$ для запуска. Llama3.3 есть на 70b: ollama.com/library/llama3.3 А DeepSeek на 671b: ollama.com/library/deepseek-r1 Вот 671b это уже даже помощнее GPT4 будет, ибо среднее его потребление это 450млрд параметров. Но если брать полную мощность, то gpt4o дотягивает до 2трлн параметров.
> Интересны самые мощные модели, которые доступны. > Некий топ. Да, некоторые компьютеры и сервера не вытянут фигня вопрос, ставишь: deepseeker 3.0 и все в ажуре! но для локальной работы нужна видеокарта NVIDIA H100 80GB примерно за $27,549
Все бы ничего, но то что мы используем с офф, там база более крупная и развивается всегда и с каждым запросом пополняется. а на локалке, ну такое себе, для генерации фОТО, еще можно юзать.
Попробуй модели Ollama - тоже довольно легко ставится на пк плюс там можно использовать тот же мистраль и прочеее и более того можно модели несколько переделывать под себя и делать чтобы они работали с тобой отыгрывая определенную роль - в целом довольно большое поле для познания если ты такое любишь исследовать, Правда сравнивать эти модели с Чатом GPT а тем более заявлять что он теперь не нужен - это несколько некорректно - скажем так ими можно дополнить его и использовать для тех задачь где не особо можно использовать чат GPT но вот на полную замену понятно что эти модели не потянут - не тот размах. А в целом пытаешься зачем то изобретать велосипед - хотя уже все давно изобретено - если тебе нужен генератор картинок обрати внимание на Стейбл Дифьюжен там куча моделей и возможностей и на порядок выше качество твоих поделок)
@ ага corne. после твоего видоса заказал, вот пару дней назад пришел. сейчас раскладку выбираю. думаю может colemak или sturdy попробовать. у вас qwerty? лайфхаки линукс да))
Привет! Спасибо за видео, это очень интересно! Скажите, а насколько этот интерфейс быстрый? Просто тот же Forge для SD сейчас активно оптимизируют, с него не слезаю...)
DeepSeek r1 на 32b парамеироа в ollama - модель размышления, у себя зарускал, сравнивал с mistral на генерацию кода, очень неплохо получилось, все сгенерировало и разжевало качество практически такое-же как у mistral.(железо - ноут, i5 12поколения, 64 озу, 3060 мобильная на 6 gb, примерно 2-4 токена в секунду.
CPU: AMD Ryzen 7 6800H (16) @ 4.79 GHz GPU 1: AMD Radeon RX 6650M [Discrete] GPU 2: AMD Radeon 680M [Integrated] Memory: 32 GiB Но в целом я бы советовал скачать эти модельки из видео и протестировать самостоятельно, так как LM Studio изначально подсказывает какие модельки лучше всего подходят под ваше железо.
Можно ли такие локальные модели обучать самому локально. Например скармливать им книги и получать выжимку из каждой гдавы или обучающего курса которые он тебе розжует и переделает под тебя. Или допустим какие-то краткие лекции с видео семинаров и других выступлений? Спасибо за ответ
Если вам получить выжимки то не нужно обучать, нужно только правильный промпт составить + большой контекст передать (вашу книгу или главу..). Подобрать сетку с большим контекстом, qwen2.5 очень хорошие сетки (по сравнению с llama ми), deepseek r1 хороша, также архитектура вроде, пробовал 32b из репы ollama, работает на уровне mistral по генерации кода на python.
Блин, нужно комп помощнее купить, боюсь у меня не потянет львиную долю всех моделей, может если только самые простые. Можешь примерно сказать сколько нужно минимум ресурсов для работы с этими моделями?
Я бы советовал скачать LM Studio и потестировать llama и mistral, так как очень сложно прогнозировать результаты. Llama 3.1 вроде от 4гб озу начинает работать.
По идее можно, но с доп.настройками. Надо будет поразбираться с HuggingFace, найти модельку и внедрить ее в LM Studio. Правда тут без кода не обойтись, можно написать на Python распознавание текста, передавать в LM, и оттуда возвращать на другую модельку и этот текст озвучивать.
Я вот не знаю будет ли это интересно людям) Так как одно дело когда показывают Linux, и людям интересно что это за зверь такой, а тут получается я покажу всем давно известную винду :D
@zproger можно сравнить с Linux, рассказать о преимуществах и недостатках обоих систем, можно сделать 1 действие на windows и предположить как бы оно было на linux
Я перешёл ещё в прошлом году полностью. Выбрал EndeavourOS (по сути Arch с графическим установщиком). До этого полностью не давало перейти то сырые Wayland с KDE 6, то недопиленные драйвера NVidia, то глюки с мыльными шрифтами и разнородными DPI на мультимониторной конфигурации. Винда стоит на соседнем разделе, в неё изредка лажу через VMware Workstation используя проброс реального раздела (сразу трёх виндовых) в виртуалку. Виндовые игрушки почти все работают в Linux через Steam или PortProton.
Очень рад и благодарен за ваш труд! четко быстро и содержательно, в первые вижу такой стиль. Есть вопрос, что если у моего ПК 8 Гб ОЗУ но Видеокарта 16 Гб, потянет? или можно перенаправить вычисления на Видео процессор? Благодарю.
Благодарю. Если использовать тот же Mistral или CodeLamma, то благодаря большому объему видеопамяти должно раскрываться очень хорошо. Насколько помню, в настройках LM Studio можно сделать перенаправление, но это нужно поразбираться в этом.
Если есть запас в пару гигабайт ОЗУ, чтобы запустить саму программу, то можно. А вычисления можно полностью перенаправить на видеокарту (по крайней мере, так работает llama-cpp-python, которая основана на llama-cpp, лежащей в основе LM Studio)
Почему-то мне кажется, что автор куда-то спешит. Именно в этом видео очень скомканная кусками, и обрезанная по два слога речь, из-за этого не успеваешь за ходом мысли автора. Говорит как робот
Да, я сам удивился когда пересмотрел видео сегодня)) Даже для меня быстро оказалось. Всегда одна и та же история, при озвучке стараюсь говорить как черепаха, на монтаже еще часа 2 трачу, чтобы доп.паузы расставить, пересматриваю и вроде гуд, а потом заливаю на ютуб и у меня тараторка под 200 бпм)
Ну прям копии ChatGPT нет, потому что для GPT4 нужно 800млрд параметров, это надо машину стоимостью 2млн$. Но для чего-то простенького, по типу заметки в obsidian генерить, или отформатировать текст, или в свои ПО внедрить, это вполне достойная вещь как мне кажется :)
Ошибаетесь. В настоящее время есть лёгкие LLM, у которых MMLU, HumanEval, и MATH очень близки к уровню тяжёлых моделей по типу Llama 3.1 405b, GPT-4o. Яркий пример - Phi-4.
Так я просто не показывал другие рабочие столы и фоновые задачи, у меня там на фоне был браузер, obsidian, телега, kdenlive, крутился lm studio с очень жирной моделькой и еще запись видео шла. Просто на рабочем столе у меня 40 градусов примерно :D
Такой язык у меня, я каждую фразу повторяю по 10 раз, и потом на монтаже оставляю самые адекватные. Этот ролик был на 1.5 часов, но после того как обрезал фейлы, осталось 8 минут) Дикцию надо фиксить, упражнения помогают, но не настолько сильно, чтобы прям идеально выговаривать слова.
![ZProger [ IT ]](http://yt3.ggpht.com/ytc/AIdro_nEayoD4jBvKkG7VFnuTm_Rnd64g6RPSHL9K53LulYXDQ=s48-c-k-c0x00ffffff-no-rj)
Интересны самые мощные модели, которые доступны. Некий топ. Да, некоторые компьютеры и сервера не вытянут, но увидеть самый топ, что доступно для личного пользования - было бы шикарно!
Насколько я знаю есть модельки 70b и вроде даже 150+, там уже мощности сопоставимы с коммерческими версиями openai, но запустить их у себя дома не представляется возможным, оборудование будет стоить около 200к$ для запуска.
Llama3.3 есть на 70b: ollama.com/library/llama3.3
А DeepSeek на 671b: ollama.com/library/deepseek-r1
Вот 671b это уже даже помощнее GPT4 будет, ибо среднее его потребление это 450млрд параметров. Но если брать полную мощность, то gpt4o дотягивает до 2трлн параметров.
> Интересны самые мощные модели, которые доступны.
> Некий топ. Да, некоторые компьютеры и сервера не вытянут
фигня вопрос, ставишь:
deepseeker 3.0 и все в ажуре!
но для локальной работы нужна видеокарта NVIDIA H100 80GB
примерно за $27,549
Берёшь Phi-4 или Deepseek R1 Distill qwen 7b или 14b, квантование Q4_K_M. Готово (температуру инференса в 0). Уровень GPT-4o +- обеспечен.
дистиллят deepseek
Спасибо за контент!
Благодарю
Все бы ничего, но то что мы используем с офф, там база более крупная и развивается всегда и с каждым запросом пополняется. а на локалке, ну такое себе, для генерации фОТО, еще можно юзать.
Согласен. Да хайп на названии видоса . Уже бесит это , gpt не нужен , gpt самый лучший на рынке. За это автору 10 сек просмотра и дизлайк 😁
Попробуй модели Ollama - тоже довольно легко ставится на пк плюс там можно использовать тот же мистраль и прочеее и более того можно модели несколько переделывать под себя и делать чтобы они работали с тобой отыгрывая определенную роль - в целом довольно большое поле для познания если ты такое любишь исследовать, Правда сравнивать эти модели с Чатом GPT а тем более заявлять что он теперь не нужен - это несколько некорректно - скажем так ими можно дополнить его и использовать для тех задачь где не особо можно использовать чат GPT но вот на полную замену понятно что эти модели не потянут - не тот размах. А в целом пытаешься зачем то изобретать велосипед - хотя уже все давно изобретено - если тебе нужен генератор картинок обрати внимание на Стейбл Дифьюжен там куча моделей и возможностей и на порядок выше качество твоих поделок)
Пинокио побывали проверить?) по отзывам говорят что она как ОС, а как по вашему мнению?
Круто! ждём полную раскладку на сплит клаву (хотя бы на гитхаб плзз) 🙌
видос про linux life hacks?
Можно сказать что и лайфхаки линукс) Под раскладкой вы подразумеваете corne? Так как Lily58 Pro уже давно на гитхабе
@ ага corne. после твоего видоса заказал, вот пару дней назад пришел. сейчас раскладку выбираю. думаю может colemak или sturdy попробовать. у вас qwerty?
лайфхаки линукс да))
Постараюсь найти в ближайшее время и опубликовать в готовый репозиторий
@@zproger легенда! спасибо!
Привет! Спасибо за видео, это очень интересно!
Скажите, а насколько этот интерфейс быстрый? Просто тот же Forge для SD сейчас активно оптимизируют, с него не слезаю...)
А как называется шрифт который ты используешь в linux?
JetBrains Mono
@@zproger Спасибо большое:) А какой именно от JetBrains их там очень много и я запутался:)
Чтобы развернуть что то локально нужны и соответствующие мощности, а это пока дорого и громоздко. Ждем более продвинутые процессоры с NPU, GPU ..
А почему данные модельки в общий доступ попадают? Ведь чтобы их обучаться нужно не мало ресурсов вложить.
Это опенсурс модельки
верно, они как бы пустышки
DeepSeek r1 на 32b парамеироа в ollama - модель размышления, у себя зарускал, сравнивал с mistral на генерацию кода, очень неплохо получилось, все сгенерировало и разжевало качество практически такое-же как у mistral.(железо - ноут, i5 12поколения, 64 озу, 3060 мобильная на 6 gb, примерно 2-4 токена в секунду.
Очень круто, тоже потестирую в ближайшее время, если конечно озу хватит)
Напиши код который имитирует женскую логику... - АХАХАХАХАХ ты сделал мой день (на месте нейронки я бы просто обиделся и отказался бы работать)
Как ты пользуешься браузером, если инкогнито не сохраняет пароли? Используешь обычный браузер для работы, а инкогнито для серфинга?
Инкогнито чисто для серфинга, чтобы не забивать историю миллиардами запросов, которые потом не удобно выбирать в предложениях из поиска
@@zproger историю чистить надо
мне кажется для моего ноута с 4гб оперативы лучше всего использовать chat gpt...
Можно еще попробовать mistral либо llama3.1:8b чисто ради теста
А какие свойства вашего ПК? Чтобы понимать какие модели мне светить запустить
CPU: AMD Ryzen 7 6800H (16) @ 4.79 GHz
GPU 1: AMD Radeon RX 6650M [Discrete]
GPU 2: AMD Radeon 680M [Integrated]
Memory: 32 GiB
Но в целом я бы советовал скачать эти модельки из видео и протестировать самостоятельно, так как LM Studio изначально подсказывает какие модельки лучше всего подходят под ваше железо.
@@zproger Спасибо
Сколько времени ты уже занимаешься программированием ?
Примерно 5 лет
Можно ли такие локальные модели обучать самому локально. Например скармливать им книги и получать выжимку из каждой гдавы или обучающего курса которые он тебе розжует и переделает под тебя. Или допустим какие-то краткие лекции с видео семинаров и других выступлений? Спасибо за ответ
Да, по идее можно, нужно только знать как) Можно у чат гпт попросить готовый код и скормить ему нужные данные для обучения.
@zproger Интересно делал ли кто-то подобное. Ведь можно обучить его тому что тебе нужно)
Проблема в том, что это не так просто как кажется) Обучить то можно, но чтобы он прям корректно отвечал, это нужно хорошенько попотеть.
ты опаздал уже есть такой сервис от яндекс 360 ии
Если вам получить выжимки то не нужно обучать, нужно только правильный промпт составить + большой контекст передать (вашу книгу или главу..). Подобрать сетку с большим контекстом, qwen2.5 очень хорошие сетки (по сравнению с llama ми), deepseek r1 хороша, также архитектура вроде, пробовал 32b из репы ollama, работает на уровне mistral по генерации кода на python.
А сделай гайд как на вдс запустить цпу модельку и шоб по апи можно было работать с ней.
Я так и не смог завести Т банковские нейросетки. Говорят что супер пупер, но не получается у меня ее запустить
Блин, нужно комп помощнее купить, боюсь у меня не потянет львиную долю всех моделей, может если только самые простые. Можешь примерно сказать сколько нужно минимум ресурсов для работы с этими моделями?
Я бы советовал скачать LM Studio и потестировать llama и mistral, так как очень сложно прогнозировать результаты. Llama 3.1 вроде от 4гб озу начинает работать.
@zproger спасибо, у меня 8 гб и проц i5 3-его поколения вроде, короче у меня ноут hp folio 9470m, что-нибудь может быть потянет
Мне понравился волк с 4 ноздрями
:DDD
Ну там надо допиливать и разбираться с промптами, как-то дойдут до этого руки и покажу нормальный пример
когда ии учился на цитатах волка...
Ну а почему бы и нет))
Да, отличный видос.
Благодарю
ComfUi то оболочек для генерации изображений
Видел ролики с этим инструментом, как раз хочу изучить, ибо очень классные возможности :)
вот бы ещё с ней можно было бы общаться голосом как с ЧатГПТ
По идее можно, но с доп.настройками. Надо будет поразбираться с HuggingFace, найти модельку и внедрить ее в LM Studio. Правда тут без кода не обойтись, можно написать на Python распознавание текста, передавать в LM, и оттуда возвращать на другую модельку и этот текст озвучивать.
@@zproger я слышал, что есть текст-речь, но как у ЧатГПТ такого ещё нет, ЧатГПТ может менять интонацию голоса и передавать эмоции в речи.
Самурай, ты ведь хотел попробовать посидеть на windows 2-3 дня и сделать ролик, уже не актуально? :(
Я вот не знаю будет ли это интересно людям) Так как одно дело когда показывают Linux, и людям интересно что это за зверь такой, а тут получается я покажу всем давно известную винду :D
@zproger можно сравнить с Linux, рассказать о преимуществах и недостатках обоих систем, можно сделать 1 действие на windows и предположить как бы оно было на linux
Неплохая идея, может быть что-то придумаю
@@zprogerНаоборот будет интересно.Тем более после опыта использования Арча. Честное сравнение + и - каждой ОС
я после двух месяцев первого опыта линукса вернулся на винду, на которой провел всю жизнь, хочу обратно
стоитли переходить на линукс на 2025 или сидеть продолжать на винде
Смотря какие цели
Все зависит от цели, можете попробовать для начала на виртуалке, или же купить внешний SSD и поставить на него для тестов.
@@zprogerА когда с ssd как вторая ОС, работает также как и вместо основной ОС, или есть нюансы?
Я перешёл ещё в прошлом году полностью. Выбрал EndeavourOS (по сути Arch с графическим установщиком). До этого полностью не давало перейти то сырые Wayland с KDE 6, то недопиленные драйвера NVidia, то глюки с мыльными шрифтами и разнородными DPI на мультимониторной конфигурации. Винда стоит на соседнем разделе, в неё изредка лажу через VMware Workstation используя проброс реального раздела (сразу трёх виндовых) в виртуалку. Виндовые игрушки почти все работают в Linux через Steam или PortProton.
Только вчера deepseek r1 вышел ай ай
У меня он почему-то не работает) еще не разобрался как его запускать :D
@@zproger Нужно обновить llama.cpp до версии 1.9.2 и выше, установить версию LM Studio 0.3.8.
Благодарю
@ у меня работает на маке, на винде не могу запустить тоже. 1.5B версия что то не сильно блещет крутостью =)
Очень рад и благодарен за ваш труд! четко быстро и содержательно, в первые вижу такой стиль.
Есть вопрос, что если у моего ПК 8 Гб ОЗУ но Видеокарта 16 Гб, потянет? или можно перенаправить вычисления на Видео процессор?
Благодарю.
Благодарю. Если использовать тот же Mistral или CodeLamma, то благодаря большому объему видеопамяти должно раскрываться очень хорошо. Насколько помню, в настройках LM Studio можно сделать перенаправление, но это нужно поразбираться в этом.
Если есть запас в пару гигабайт ОЗУ, чтобы запустить саму программу, то можно. А вычисления можно полностью перенаправить на видеокарту (по крайней мере, так работает llama-cpp-python, которая основана на llama-cpp, лежащей в основе LM Studio)
Хороший ролик
Благодарю
первый коментарий)
спустя 2 недели видео
😎😎😎
@@zproger :)
Тут)
😎😎
А можно не заниматься гемороем и просто установить Jan с открытым исходным кодом🤡
Впервые о таком слышу) Благодарю за подсказку, потестирую в ближайшее время.
Почему-то мне кажется, что автор куда-то спешит. Именно в этом видео очень скомканная кусками, и обрезанная по два слога речь, из-за этого не успеваешь за ходом мысли автора. Говорит как робот
Да, я сам удивился когда пересмотрел видео сегодня)) Даже для меня быстро оказалось. Всегда одна и та же история, при озвучке стараюсь говорить как черепаха, на монтаже еще часа 2 трачу, чтобы доп.паузы расставить, пересматриваю и вроде гуд, а потом заливаю на ютуб и у меня тараторка под 200 бпм)
@@zproger В целом, на 0.8 скорости идеально заходит)
36 секунд назад 0-0
😎😎😎
братан людям голову не морочь, локалка это не вариант. И локального чатагпт нету))
Ну прям копии ChatGPT нет, потому что для GPT4 нужно 800млрд параметров, это надо машину стоимостью 2млн$. Но для чего-то простенького, по типу заметки в obsidian генерить, или отформатировать текст, или в свои ПО внедрить, это вполне достойная вещь как мне кажется :)
Ошибаетесь. В настоящее время есть лёгкие LLM, у которых MMLU, HumanEval, и MATH очень близки к уровню тяжёлых моделей по типу Llama 3.1 405b, GPT-4o. Яркий пример - Phi-4.
блин чел, термуху на проце замени! под 80 градусов на рабочем столе для - не нормально!
Так я просто не показывал другие рабочие столы и фоновые задачи, у меня там на фоне был браузер, obsidian, телега, kdenlive, крутился lm studio с очень жирной моделькой и еще запись видео шла. Просто на рабочем столе у меня 40 градусов примерно :D
При запущеном Юнити с проектом настоящим, АI вообще думать не хочет, у меня, это к вопросу о нагрузке на железо
Красавичк. Самый понятный гайд по этой теме.
Благодарю!
Спасибо. Aide IDE прямо в тему к этим моделям.
Благодарю!
минус за озвучку.
бу-бу-бу, бу-бу-бу
Согласен, надо исправлять)
скажу большее нейросети не нужны
😎😎
Говори четче. Ты глотаешь буквы и звуки, интонация и речь у тебя ломанная. Слушать крайне неприятно.
Такой язык у меня, я каждую фразу повторяю по 10 раз, и потом на монтаже оставляю самые адекватные. Этот ролик был на 1.5 часов, но после того как обрезал фейлы, осталось 8 минут) Дикцию надо фиксить, упражнения помогают, но не настолько сильно, чтобы прям идеально выговаривать слова.
Автор, работай над речью, слушать очень тяжело
Благодарю, потихоньку работаю над этим
мне заходит, наоборот нравится.
или от сюда лингвист лингвист хренов, всё норм у него