С Днем Рождения Андрей!💖 Пусть сбываются все мечты, Вы на правильном пути!!!🚀 Здоровья, счастья, благополучия, успехов в творчестве! Новое видео классное, полезное интересное!🔥🔥🔥
Также присоединяюсь к поздравлениям. Желаю крепкого здоровья и всего наилучшего! Касательно видео: спасибо, тоже уже какое-то время задумывался о таком варианте, поэтому рад что посмотрел. Ну и даже каплю юмора нашел: 8:46😁
0:02 При всем уважании, следует отметить, что LM Studio - это не уникальное приложение, есть множество аналогов. 1:22 Из мультиплатфоренности сходу исключаются владельцы старых маков, которые на процессорах Интел. Ну и компы со встроенной видяшкой могут генерировать глюки при запусках, потому что здесь слишком сильна завязка на GPU.
У меня есть MacBook Pro с 32Гб Ram от 2018-го, когда я его покупал это был полный фарш и максимальная комплектация. Но Apple видимо хочет, чтобы эти ноутбуки просто выкинули на помойку, поэтому тут вопрос к ним в первую очередь…
ДОБРОГО ДНЯ. ПОЗДРАВЛЯЮ С ДНЁМ РОЖДЕНИЯ!!! 🎉🎂 РАССКАЖИТЕ КАКУЮ НУЖНО УСТАНОВИТЬ ПРОГРАММУ, ЧТОБЫ БОТ НАЧАЛ РАЗГОВАРИВАТЬ С ВАМИ ЧЕРЕЗ НАУШНИКИ И МИКРОФОН.
Здравствуйте. Было бы хорошо если бы вы показали как установить Dance Diffusion как в этом видео. Не реклама. Для создания сэмплов. Многие просили гайд у автора видео. Но он не делает.
*А на внешний жёсткий диск вариант её поставить? (Чтобы и модели туда загружать), У меня просто все внутренние SSD включая системный забиты моделями Flux для ComfyUI*
@@burdinAI Это не бизнес. Желание разобраться и понять. Уже стареньки и скоро буду безработный, нужно осваивать чтобы хоть как-то выживать. Я чувствую, что за информационными и рекламными аватарами будущее. В скором будущем, нужны будут операторы по созданию контента с аватарами. Возможно, что я и ошибаюсь. Но пока смотрю ваши ролики с разных аккаунтов, на ноуте и на компе, пробую, учусь. Может, что-то получиться.
@@burdinAI не знаю, что и как дальше, но я люблю новые технологии и когда запустили чат жпт, я сразу сказал друзьям и знакомым, что это не остановить и за этим будущее.
Все видео про ЛМ студио и подобный софт для запуска локальных ЛЛМ надо начинать с того, что чтобы запустить ЛЛМ хотя бы на голову слабее чем чатгпт или даже бесплатный аналог в сети - нужно иметь дома комп за десяток тысяч баксов.
@@burdinAI Ну, с учётом текущего курса, можно себе позволить за такие деньги собрать какой-никакой сет из 2х гпушек, и тогда в ВРАМ влезет нормальная модель сравнимая хоть с чем-то :)
С прошедшим днем рождения! Здоровья и удачи! Перед загрузкой конкретной нейронки можно изменить расположение папки. Поместить папку на быстрый и большой диск. Затем можно эти модели без повторной закачки использовать в других программах либо указывая нашу папку в настройках, или создавая символические ссылки, если программа не поддерживает смену папки в настройках. Плюс, все модельки будут лежать в одном, вам известном месте. Теперь можно запросто сносить, переустанавливать программы работы с LLM и не беспокоится за скаченные модели.
@@Janni-Kremm В левом вертикальном меню третья сверху кнопка "Папка" (Мои модели). В шапке настройка "Каталог моделей". Я там указал и все модели скачиваются именно в указанную папку, создавая внутри свои подпапочки.
А на сколько лучше ии если сравнивать с Алиссй Яндекса? Есть ли для смартфона что то подобное? В каких целях ИИ полезное? Может ли ИИ ролить в текст ролевые игры?
В теории можно поставить на андроид, но это должен быть супер мощный игровой телефон с 16 или даже 24Гб оперативной памяти, и даже при этом будет работать только к примеру модель 3b или даже 1b
Там ещё есть функция работы по api, не пользовались ей? Я попробовал, у меня была задача протестировать локально развернутого телеграм бота, с подключенной lm studio, но столкнкнулся с проблемой, что через какое то время запрос к Lm studio перестает поступать, она как будто отключается от сети, хотя в самой программе написано что всё ок, перезапуск программы не помогает, только полный перезапуск ПК. Может кто знает в чём может быть дело?
Покидал в интерфейс книги в pdf на англ, попробовал как перевод, так и краткое изложение предоставить, лама будь-то не видит текст в файлах. Хотя если открыть через ридер, то он легко там выделяется и копируется.
самая по интеллекту нормальная это Гемма 2-27б. Только максимальная версия 26 гигов.У нее 13 триллионов параметров. Позитивная, с юмором и какой никакой индивидуальностью.Авот генерить код не хочет. Возможно это у всех больших моделей происходит? Ну и ладно меньшие млдели это бегом делают. И лучше ее сильно не перегружать, плывет.
Подскажите пожалуйста модель/решение, которое я смогу использовать для обучения и дальнейшего использования ИИ в одной узконаправленной профессиональной области
@@rapppeness"Тренирую"?! Добавить контекст - это еще не тренировка. Тренировка моделей - это очень дорогой и ресурсозатратный процесс, доступный единичным компаниям в мире.
@ привет, я не про добавление контента, а про то, что нейронка отвечает на мои узкоспециализированные запросы и я постоянно корректирую ответы для точности/релевантности ответа- она не начнет постепенно отвечать сразу правильно? Это не тренировка? Если не прав- прошу поправить
Для кода как раз релизнули новую модель на днях, то есть учить не надо, уже есть модель, правда она прожорливая по железу. Может быть что то запишу на этот счет в будущем.
Я пробовал играть в ДнД через ChatGPT, всё хорошо, но у него слушком соевая цензура. Там даже нельзя вступить в бой. При том, что сама нейронка пишет ответ, а потом в середине удаляет его. Решил попробвать поиграть в ДнД с локальной языковой моделью на LM Studio. Нашёл несколько из тех что смог потянуть мой ПК. Когда память контекста заканчивалась (5-8 ответов), я копировал весь чат в текстовый файл блокнота, очищал чат, добавлял этот тхт файл и говорил нейронке использовать его как предысторию. Но через 4-5 таких циклов, она начинала жёстко галюцинировать или зацикливать ответ до тех пор, пока не остановится. Так ни одно приключение не смог пройти. Может сделаешь тутор как играть в ДнД на LM Studio?
@@burdinAI так проблема в том, что в чем больше текста в файле, который прикрепляешь, тем меньше она из него возьмёт. Если там допустим будет 20к символов, то она тупо будет повторять рандомный кусок из него и/или вообще потеряет контекст. Т.е. даже если я поставлю себе 128гб оперативки, и сделаю контекст на 200к, то всё равно он очень быстро закончится и проблема будет та же.
@@kdargosun13Тебе все правильно ответили. На более мощном железе ты можешь использовать более мощную модель и настроить максимальный контекст. Я раньше ботов делал на разных моделях. Gemini 1.5 Pro мог 30-50 ответов контекста в памяти держать.
Вопрос еще в железе и что именно нужно делать, помощь может быть разной, суммировать текст, написать всю книгу за тебя и еще куча всего. Нюансов море, помогут тесты!
@@burdinAI При чём тут железо к моему вопросу? Суммировать текст? Написать всю книгу за меня? Просто скажи "не знаю". Но понимаю сообщения под видео, даже без смысла, нужны для твоего заработка. Не осуждаю.
чет не очень понял.Тоесть я запускаю у себя нейросеть на пк?Я не знаю что там должен быть за комп что бы нейронка выдавала +- ответ на уровне 5 летнего ребенка.Может я конечно и правда не понял.
@@burdinAI всё оказалось проще (к деньгам) Процессор Intel Core i5-3570K является старым процессором, выпущенным в 2012 году. Он поддерживает технологию Intel Sandy Bridge, которая не поддерживает некоторые современные функции и технологии, необходимые для запуска некоторых моделей LLama. LLama 3.1 8b, вероятно, требует более современного процессора с поддержкой технологий, таких как: AVX-512 (Advanced Vector Extensions 512) FMA3 (Fused Multiply-Add 3) SSE4.2 (Streaming SIMD Extensions 4.2) Процессор Intel Core i5-3570K не поддерживает эти технологии, поэтому запуск LLama 3.1 8b на этом процессоре может быть проблематичным или даже невозможным. комп менять нужно
Еще раз спасибо. В этот раз за модель. Действительно очень адекватная модель. Прекрасно общается на русском, легко слушается системного промпта, уверенно держится внутри контекста. Есть к вам пара вопросов: 1. Откуда информация, что именно эта модель так хороша? Во всех топах светятся исходные модели, типа LLAMA, Gemma и т.д., а не дообученные модификации. Есть какой-то агрегатор со сравнением на все подмножества моделей? Или ветка специализированного форума? 2. Если не секрет, какая видеокарта использовалась, что так много LLM-ок доступно? Мне на 3070 RTX "ракетой" помечены только самые первые, неприхотливые, модельки. Ну, не A100 же ставить себе?🤔
1. Вероятно потому что тестируют именно исходные модели и берут их просто за основу. Потому что дообученые не факт, что имеют некий официальный статус. 2. На тесте в этом видео была машина Macbook M1 Max c 64Гб объединенной памяти. Фишка эпловской объединенной памяти, что ее может юзать и CPU и GPU. Поэтому в нее влазят даже очень большие модели. Я даже Llama 3.1 70b тестил на этом железе, но его уже маловато, если взять со 128Гб, то даже 70b будет залетать... P.S. - а вот А100 не влезет в обычный корпус, но она и не нужна для модели 8b, RTX 4090 будет вполне достаточно и даже более того. Если говорить про карты NVIDIA, то модель должна поместиться полностью в память GPU, чтобы она нормально работала. То есть смотрим на вес модели и смотрим сколько у нас памяти в GPU и так решаем, что можем запустить, а что нет!
У меня не самый свежий комп на Windows с 64 Гб ОЗУ и GeForce 1660 c 6 Гб. Модели 8B отлично летают, 14-16B - терпимо, 20-27B - ползают, но справляется. Максимальная модель - Qwen 2.5 27B.
Прежде чем конечно же качать, неплохо было бы разобраться что вообще там за модели, их там докуя. Второй вариант это конечно же железо. Железо слабое модель минимальная ответы не полные. Хотелось бы конечно же что бы они подхватывались из интернета, где пространство для информации безгранично. Но прежде всего хотелось бы узнать вообще что за модели и для чего они. Хотел сделать автоматизацию создания данных в Excel так ChatGPT мне как начал разжёвывать и предлагать варианты, часа 3 просидел устал все читать, а он не останавливался, только своим бесплатным ограничением.
Моделей очень много, например недавно вышла мощная модель QWEN на 32 миллиарда параметров, она настроена специально для кодинга и должна давать неплохие результаты.
![[LIVE] : ONE ลุมพินี 88 | คู่เอก "ป้อมเพชร vs อัสลามจอน"](http://i.ytimg.com/vi/1ZqTVVbMgbo/mqdefault.jpg)
Друзья, сегодня 16 Ноября у меня ДР, мне исполнилось 38. Ставьте лайки, если хотите поздравить меня с ДР, всем буду очень благодарен. 🙏
С днём рождения бро❤
С Днем Рождения, оставайся таким же молодым, находчивым и любознательным!
с днюхой тебя 🎂🧃. спасибо за твою деятельность
Happy birthday!
Счастья, здоровья, творческих успехов и звёздной карьеры)🎉
С Днем рождения! Всех благ, крепкого здоровья и дальнейших творческих и финансовых успехов!
Спасибо за добрые слова! 🎉
С Днем Рождения Андрей!💖
Пусть сбываются все мечты,
Вы на правильном пути!!!🚀
Здоровья, счастья, благополучия, успехов в творчестве!
Новое видео классное, полезное интересное!🔥🔥🔥
Благодарю за добрые слова! Очень приятно 👍
Благодарю Вас за интересный, ценный и полезный подкаст!!!🙏🙏🙏
Всегда пожалуйста!
Полгода искал нечто подобное)) Ну как искал, подумывал поискать. И тут ютуб божественный подгон сделал в лице этого видео. Спасибо автору огромное))
Огонь 🔥
С прошедшим днем рождения!
Пусть в жизни будет все что нужно!
Спасибо!
Андрей, спасибо за полезное и познавательное видео! 👍
Вам спасибо за внимание 👍
Спасибо за подробное объяснение. Учту все ваши советы и рекомендации
Всегда пожалуйста!
Без вас точно бы не разобрался👍👍👍
100% всегда проще взять уже имеющийся опыт, чем тыкать самому...
С Днем рождения, Андрей! С наилучшими пожеланиями, пусть Вам сопутствует успех!
Спасибо, Сергей 🙏👍
С Днём Рождения! Будьте здоровы и спасибо за полезную информацию
Спасибо за поздравления 🎉
C Днём рождения! Здоровья и Успехов!
Благодарю 🎉
Да-а ! С прошедшим тебя и больших успехов !!!
Спасибо 👍
С днём рождения! Пусть всё получается, что Вы сами хотите!
Спасибо 🎉
Полезная информация. С удовольствием подпишусь и поставлю лайк)
Спасибо!
Классно! Нейросеть очень понравилась
Огонь!
Нравится ваши ролики. С прошедшим)
Спасибо 👍💫
Крутой ролик. И, кстати, с прошедшим днём рождения)
Спасибо!
С днём рождения!!! Самое главное здоровья!!!
Спасибо 👍
Также присоединяюсь к поздравлениям. Желаю крепкого здоровья и всего наилучшего! Касательно видео: спасибо, тоже уже какое-то время задумывался о таком варианте, поэтому рад что посмотрел. Ну и даже каплю юмора нашел: 8:46😁
Спасибо за поздравления 🎉
Андрей с прошедшим тебя Днём Рождения ! , здоровья и удачи по жизни ❕ 🤝🍾
Спасибо!
С днем рождения! Успехов и процветания каналу!
Спасибо, канал ради вас и существует! 😉
Большое спасибо за полезную информацию. Было интересно)
Всегда пожалуйста!
Отличная нейросеть. С удовольствием ей пользуюсь
Какая именно? 👀
По вашим советам выбрал нужную для своего железа модель, спасибо)
Огонь, 🔥 удачи! 👍
Заранее Благодарю!
С днём рождения🥳🥳🥳 Вы так молодо выглядите, абалдеть
Спасибо за комплимент 👍 все так говорят, надеюсь гены не подведут и я буду и дальше хорошо выглядеть 😁
Что еще можно делать интересного с LLM?
Какие еще возможности локально мы можем вытянуть?
Интересная тема!
Подписался, лайк поставил. Жду новые видео!
К примеру можно заставить их делать поиск в интернете, так же можно их заставить работать через API и локальный сервер...
Я хоть считайте просто мимо прохожу, но всё равно, с Днём Рождения :)
Спасибо 👍
Обожаю ваши ролики. Продолжайте в том же духе! И да, с днём рождения🤗
Благодарю за добрые слова и поздравления! 🥳
спасибо за информацию
Всегда пожалуйста 👍
С прошедшим, Андрей. Благодарю за ценную информацию. Скажите, я верно понял - этой нейронке доступна функция некоторого монтажа видеофайлов?
Нет это LLM, текстовая модель, если мы говорим про Ламу
Спасибо за поздравления 👍
@@burdinAI попробовал сегодня. Наверное пока нет...
терминатор
Ну как вариант пресет терминатора, чтобы жизнь была веселее 😁
С днем рождения,и выпустите пожалуйста ролик про нейросетьв которой можно музыку по запросу делать или что то такого
Хорошо, возможно что то будет в будущем!
Спасибо за поздравления
отличная информация, а не подскажите какую там модель выбрать с доступом в интернет?
С доступом в интернет нужно делать связку с anything llm, возможно как-нибудь запишу туториал на этот счет...
@@burdinAI хорошо бы, а то нужен бот для того чтоб писать новости, а доступа в интернет у них нету.
0:02 При всем уважании, следует отметить, что LM Studio - это не уникальное приложение, есть множество аналогов.
1:22 Из мультиплатфоренности сходу исключаются владельцы старых маков, которые на процессорах Интел. Ну и компы со встроенной видяшкой могут генерировать глюки при запусках, потому что здесь слишком сильна завязка на GPU.
Функционал уникальный, Apple уже не считает за людей владельцев старых маков 😂😭
У меня есть MacBook Pro с 32Гб Ram от 2018-го, когда я его покупал это был полный фарш и максимальная комплектация. Но Apple видимо хочет, чтобы эти ноутбуки просто выкинули на помойку, поэтому тут вопрос к ним в первую очередь…
@@burdinAI А что если поставить Linux или, прости господи, винду?
На сайте LM Studio есть установщик для старых систем для старых процов
@@a3atbbНа Linux и Windows все отлично работает. И даже получше, судя по комментариям, чем на Макаках.
А там есть поиск в интернете и умная обработка полученной информации? Даже если это локальная машина, такая функция этому не должна противоречить.
Есть, но нужно делать связку с Anything LLM, в предыдущем видео показывал, как сделать связку!
ДОБРОГО ДНЯ.
ПОЗДРАВЛЯЮ С ДНЁМ РОЖДЕНИЯ!!! 🎉🎂
РАССКАЖИТЕ КАКУЮ НУЖНО УСТАНОВИТЬ ПРОГРАММУ, ЧТОБЫ БОТ НАЧАЛ РАЗГОВАРИВАТЬ С ВАМИ ЧЕРЕЗ НАУШНИКИ И МИКРОФОН.
Можно через интерфейс webui, в одном из прошлых роликов показывал как скачать с Ollama и связать с webui, но работает не очень…
Спасибо 👍
Установил LM studio, поиск моделий ни чего не предлагает и ни чего не ищет. VPN нужен чтоли?
С Днем рождения!
Спасибо 💫
Спасибо 💫
Здравствуйте. Было бы хорошо если бы вы показали как установить Dance Diffusion как в этом видео. Не реклама. Для создания сэмплов. Многие просили гайд у автора видео. Но он не делает.
*А на внешний жёсткий диск вариант её поставить? (Чтобы и модели туда загружать), У меня просто все внутренние SSD включая системный забиты моделями Flux для ComfyUI*
Вопрос в том, как быстро это будет работать, если скорость будет падать, то модель будет тормозить просто из за того, что доступ к памяти медленный.
Happy birthday to you🎁🎂🎊🎉🥳🎈
Thank you 🙏
Добрый день! Андрей, подскажи какую модель загрузить, чтобы делать ролика как в D-ID ? У меня есть потребность делать рекламное видео с аватарам.
Если это бизнес цель, то надо пробовать юзать heygen
@@burdinAI Это не бизнес. Желание разобраться и понять. Уже стареньки и скоро буду безработный, нужно осваивать чтобы хоть как-то выживать. Я чувствую, что за информационными и рекламными аватарами будущее. В скором будущем, нужны будут операторы по созданию контента с аватарами. Возможно, что я и ошибаюсь. Но пока смотрю ваши ролики с разных аккаунтов, на ноуте и на компе, пробую, учусь. Может, что-то получиться.
@@burdinAI не знаю, что и как дальше, но я люблю новые технологии и когда запустили чат жпт, я сразу сказал друзьям и знакомым, что это не остановить и за этим будущее.
Может я смешной и чудной, но скоро миром будет управлять ИИ.
Сколько же разных моделей существует…
Много…
Все видео про ЛМ студио и подобный софт для запуска локальных ЛЛМ надо начинать с того, что чтобы запустить ЛЛМ хотя бы на голову слабее чем чатгпт или даже бесплатный аналог в сети - нужно иметь дома комп за десяток тысяч баксов.
На врят ли за 10-к хватит…
Локальные ЛЛМ уникальны в другом и есть масса своих выгод!
@@burdinAI Ну, с учётом текущего курса, можно себе позволить за такие деньги собрать какой-никакой сет из 2х гпушек, и тогда в ВРАМ влезет нормальная модель сравнимая хоть с чем-то :)
Да, у меня проблема с LM не вылазят модели лам , нет списка
@@ДенисДавыдов-д8ц Значит комп говно. ЛМ студия не выдаёт тебе в предложения модели если их комп не потянет.
У меня список моделей пустой, что делать в этом случае? И поиск ничего не находит
Возможно железо слишком слабое или нет каких то дров...
С прошедшим днем рождения! Здоровья и удачи!
Перед загрузкой конкретной нейронки можно изменить расположение папки. Поместить папку на быстрый и большой диск. Затем можно эти модели без повторной закачки использовать в других программах либо указывая нашу папку в настройках, или создавая символические ссылки, если программа не поддерживает смену папки в настройках. Плюс, все модельки будут лежать в одном, вам известном месте. Теперь можно запросто сносить, переустанавливать программы работы с LLM и не беспокоится за скаченные модели.
👍
Спасибо за поздравления
Ну да, можно менять место... НО КАК?!! Я вот поместила папку на нужный мне диск, но модели оно все равно скачивает куда ему заблагорассудится🤬🤬🤬🤬
@@Janni-Kremm В левом вертикальном меню третья сверху кнопка "Папка" (Мои модели). В шапке настройка "Каталог моделей". Я там указал и все модели скачиваются именно в указанную папку, создавая внутри свои подпапочки.
А на сколько лучше ии если сравнивать с Алиссй Яндекса? Есть ли для смартфона что то подобное? В каких целях ИИ полезное? Может ли ИИ ролить в текст ролевые игры?
В теории можно поставить на андроид, но это должен быть супер мощный игровой телефон с 16 или даже 24Гб оперативной памяти, и даже при этом будет работать только к примеру модель 3b или даже 1b
Алиса у яндекса имеет около 8B параметров. Не надейся что алиса умная. Даже Айя (Aya Expanse) которой я пользуюсь, умнее алисы
Алиса - это ТП.
Там ещё есть функция работы по api, не пользовались ей? Я попробовал, у меня была задача протестировать локально развернутого телеграм бота, с подключенной lm studio, но столкнкнулся с проблемой, что через какое то время запрос к Lm studio перестает поступать, она как будто отключается от сети, хотя в самой программе написано что всё ок, перезапуск программы не помогает, только полный перезапуск ПК. Может кто знает в чём может быть дело?
Тут либо попробовать достучаться до поддержки телеги, либо пробовать писать в LM Studio по почте, естественно на английском, возможно дадут совет!
Покидал в интерфейс книги в pdf на англ, попробовал как перевод, так и краткое изложение предоставить, лама будь-то не видит текст в файлах. Хотя если открыть через ридер, то он легко там выделяется и копируется.
Нужно смотреть какой формат и попробовать в другом формате скормить и посмотреть что получится.
самая по интеллекту нормальная это Гемма 2-27б. Только максимальная версия 26 гигов.У нее 13 триллионов параметров. Позитивная, с юмором и какой никакой индивидуальностью.Авот генерить код не хочет. Возможно это у всех больших моделей происходит? Ну и ладно меньшие млдели это бегом делают. И лучше ее сильно не перегружать, плывет.
Для кода вышел QWEN
Для кода советую поставить deepseek, можно код писать хоть в 1000 строк чего не может ChatGPT даже по бенчмарку deepseek лучше чем chatgpt
Там есть несколько неплохих моделей для кода. Мне больше зашел Nemo.
у меня гермес лама не запоминает даже, о чем была речь. Сбивается с общей мысли и начинает на другу тему писать
Так и должно быть?
Если железо позволяет надо квантизацию выше ставить, тогда будет лучше работать.
Подскажите пожалуйста модель/решение, которое я смогу использовать для обучения и дальнейшего использования ИИ в одной узконаправленной профессиональной области
Слишком широкий вопрос) тестируйте ламу 8b для начала, если тянет железо…
@ спасибо, т.е. загружаю в нее определенные файлы по конкретной тематике и тренирую на правильность ответов? Она станет узко специализированной?
@@rapppeness"Тренирую"?! Добавить контекст - это еще не тренировка. Тренировка моделей - это очень дорогой и ресурсозатратный процесс, доступный единичным компаниям в мире.
@ привет, я не про добавление контента, а про то, что нейронка отвечает на мои узкоспециализированные запросы и я постоянно корректирую ответы для точности/релевантности ответа- она не начнет постепенно отвечать сразу правильно? Это не тренировка? Если не прав- прошу поправить
@rapppeness нет, это не тренировка. Нейронка помнит какое-то время только контекст. Через какое время - только изначальные знания.
good job
Thanks
А если у меня при нажатии на поиск ни одна модель не загружается
А железо как?
@burdinAI ну железо наверное не очень) хех
сними видео как научить нейросеть писать качественный код и обрабатывать фотки.
Для кода как раз релизнули новую модель на днях, то есть учить не надо, уже есть модель, правда она прожорливая по железу. Может быть что то запишу на этот счет в будущем.
а транскрибация видео есть в модели?
В ютубе она автоматом встроена…
@burdinAI а причем тут ютуб
Я пробовал играть в ДнД через ChatGPT, всё хорошо, но у него слушком соевая цензура. Там даже нельзя вступить в бой. При том, что сама нейронка пишет ответ, а потом в середине удаляет его. Решил попробвать поиграть в ДнД с локальной языковой моделью на LM Studio. Нашёл несколько из тех что смог потянуть мой ПК. Когда память контекста заканчивалась (5-8 ответов), я копировал весь чат в текстовый файл блокнота, очищал чат, добавлял этот тхт файл и говорил нейронке использовать его как предысторию. Но через 4-5 таких циклов, она начинала жёстко галюцинировать или зацикливать ответ до тех пор, пока не остановится. Так ни одно приключение не смог пройти. Может сделаешь тутор как играть в ДнД на LM Studio?
Тут ты сам ответил, что не все тянет, значит вопрос в железе, чтобы запускать более мощные модели в LM studio…
@@burdinAI так проблема в том, что в чем больше текста в файле, который прикрепляешь, тем меньше она из него возьмёт. Если там допустим будет 20к символов, то она тупо будет повторять рандомный кусок из него и/или вообще потеряет контекст. Т.е. даже если я поставлю себе 128гб оперативки, и сделаю контекст на 200к, то всё равно он очень быстро закончится и проблема будет та же.
@@kdargosun13Тебе все правильно ответили. На более мощном железе ты можешь использовать более мощную модель и настроить максимальный контекст. Я раньше ботов делал на разных моделях. Gemini 1.5 Pro мог 30-50 ответов контекста в памяти держать.
Привет, я нажимаю на лупу и у меня не появляется список доступных моделей. Что я делаю не так.
Возможно железо слишком слабое…
Почему LM studio ни чего не предлагает и не ищет. Я про модели которые хочу установить. VPN нужен чтоли?
Видимо железо не тянет…
@@burdinAIУстанавливал по прошлому видео, через Докер, тянет. У меня теперь и на сайт lm studio не заходит заблокировали походу.
@@ВячеславВолшебник-к3бЭто вы у деда в Кремле спросите, что случилось.
А стоит ли Llama 8b , ведь 70b или 150b гораздо умней -- может лучше как то онлайн использовать если комп не тащит ???!!!
Онлайн можно чат gpt использовать 😁
@@burdinAI Вот не пойму тогда , если онлайн умней значит эффективней какое место займет нейросеть на компе -- для чего ?
@@alexeibelousov546Не у всех есть доступ и ресурсы для онлайн-моделей.
Ну что, завтра пойду 2Тб SSD покупать.
Тут главное оперативка и память в видеокарте, а ssd не особо поможет…
@burdinAI 3060 8 Гб хватит?
Что будет, если перенести загруженные модели на другой диск?
Я бы их удалил для верности и скачивал сразу на нужный…
Поставил себе, медленно на ноутбуке очень. Там целый сервак нужен для такой штуки.
Для 8b не нужен сервак, есть модели и менее требовательные, но у них и возможностей меньше!
@burdinAI сильно меньше. Пробовал я разные модели, но разницы по скорости не много увидел.
Как ее дообучить офлайн ?
Это целая, отдельная песня…
@ понятно, что пайторч, токенайзеры и так далее. Ну хотя бы по верхам если будет видео - уже круто будет. Или в идеале от и до стрим или подкаст.
Не смог разобраться в моделях. Мне нужен помощник в написании книги, в какой модели работать?
Вопрос еще в железе и что именно нужно делать, помощь может быть разной, суммировать текст, написать всю книгу за тебя и еще куча всего. Нюансов море, помогут тесты!
@@burdinAI При чём тут железо к моему вопросу? Суммировать текст? Написать всю книгу за меня? Просто скажи "не знаю". Но понимаю сообщения под видео, даже без смысла, нужны для твоего заработка. Не осуждаю.
@@bujmbujmтебе не книги писать надо...
@@РадаБорода Согласен, я и не пишу книги тоже.
@@bujmbujmТебе все правильно ответили. От себя добавлю: не нужно тебе писать книги. Лучше читай.
чет не очень понял.Тоесть я запускаю у себя нейросеть на пк?Я не знаю что там должен быть за комп что бы нейронка выдавала +- ответ на уровне 5 летнего ребенка.Может я конечно и правда не понял.
Обычный комп с RAM от 16Гб и видеокартой способной загрузить в себя полностью всю модель нейронки и будет даже лучше 10-ти летнего ребенка.
У меня не самый свежий комп, но очень неплохие модели тянет. Вменяемее большинства взрослых.
LM скачал установил , но в нем нет никаких ЛАМ.
Видимо железо не тянет...
покажи gpt Для смартфона или как siri заменить на gpt
В теории можно накинуть Ламу на Андроид, но большой вопрос, что из этого выйдет, может в будущем, что то сделаю...
Скачал, при запуске ошибка - No LM Runtime found for model format 'gguf'!
Чем лечить?
Возможно дров каких то не хватает…
@@burdinAI всё оказалось проще (к деньгам)
Процессор Intel Core i5-3570K является старым процессором, выпущенным в 2012 году. Он поддерживает технологию Intel Sandy Bridge, которая не поддерживает некоторые современные функции и технологии, необходимые для запуска некоторых моделей LLama.
LLama 3.1 8b, вероятно, требует более современного процессора с поддержкой технологий, таких как:
AVX-512 (Advanced Vector Extensions 512)
FMA3 (Fused Multiply-Add 3)
SSE4.2 (Streaming SIMD Extensions 4.2)
Процессор Intel Core i5-3570K не поддерживает эти технологии, поэтому запуск LLama 3.1 8b на этом процессоре может быть проблематичным или даже невозможным.
комп менять нужно
А версия llama 3.2 хуже?
Если 11b, то в теории лучше, но зависит от квантизации, а если Llama 3.2 3b, то намного хуже
Еще раз спасибо. В этот раз за модель. Действительно очень адекватная модель. Прекрасно общается на русском, легко слушается системного промпта, уверенно держится внутри контекста.
Есть к вам пара вопросов:
1. Откуда информация, что именно эта модель так хороша? Во всех топах светятся исходные модели, типа LLAMA, Gemma и т.д., а не дообученные модификации. Есть какой-то агрегатор со сравнением на все подмножества моделей? Или ветка специализированного форума?
2. Если не секрет, какая видеокарта использовалась, что так много LLM-ок доступно? Мне на 3070 RTX "ракетой" помечены только самые первые, неприхотливые, модельки. Ну, не A100 же ставить себе?🤔
1. Вероятно потому что тестируют именно исходные модели и берут их просто за основу. Потому что дообученые не факт, что имеют некий официальный статус.
2. На тесте в этом видео была машина Macbook M1 Max c 64Гб объединенной памяти. Фишка эпловской объединенной памяти, что ее может юзать и CPU и GPU. Поэтому в нее влазят даже очень большие модели. Я даже Llama 3.1 70b тестил на этом железе, но его уже маловато, если взять со 128Гб, то даже 70b будет залетать...
P.S. - а вот А100 не влезет в обычный корпус, но она и не нужна для модели 8b, RTX 4090 будет вполне достаточно и даже более того. Если говорить про карты NVIDIA, то модель должна поместиться полностью в память GPU, чтобы она нормально работала. То есть смотрим на вес модели и смотрим сколько у нас памяти в GPU и так решаем, что можем запустить, а что нет!
@@burdinAI Thanks! 🙂
У меня не самый свежий комп на Windows с 64 Гб ОЗУ и GeForce 1660 c 6 Гб. Модели 8B отлично летают, 14-16B - терпимо, 20-27B - ползают, но справляется. Максимальная модель - Qwen 2.5 27B.
!!!
!!!???)))
Не работает
Работает! Проверяйте железо!
Шлак все эти локальные модели. Лучше anthropic claude 3.5 sonnet пока нет, чуть по хуже модель haiku 3
Шлак, если не знаешь зачем они нужны и как их можно использовать! Это как сравнивать бульдога с носорогом!
Мне также на данный момент больше всего нравится Claude 3.5 Sonnet.
Клауд тоже шлак, ни одной задачи для меня не сделал а GPT легко
роском нацзор заблокироавл прогу теперь скачать не возможно
Если ты не знаешь что тебе с этим можно сделать то тебе ещё рано пользоваться компьютером,попроси маму или папу установить
🤣👍
Это самое страшное, что могло произойти…
Прежде чем конечно же качать, неплохо было бы разобраться что вообще там за модели, их там докуя. Второй вариант это конечно же железо. Железо слабое модель минимальная ответы не полные. Хотелось бы конечно же что бы они подхватывались из интернета, где пространство для информации безгранично. Но прежде всего хотелось бы узнать вообще что за модели и для чего они. Хотел сделать автоматизацию создания данных в Excel так ChatGPT мне как начал разжёвывать и предлагать варианты, часа 3 просидел устал все читать, а он не останавливался, только своим бесплатным ограничением.
Моделей очень много, например недавно вышла мощная модель QWEN на 32 миллиарда параметров, она настроена специально для кодинга и должна давать неплохие результаты.
@burdinAI вот именно, какие из них и для чего, где узнать