Почему у меня слева на панели нет значка телескопа, где можно модели скачать. А те которые скачиваются, не устанавливаются формат gguf не тот. Что делать и как быть?
ты хоть осознал что ты сотворил в этом видео, я в первые смотрю твой шедевр. первый раз я смотрю видео до конца и мне грусно что оно закончилось🙄можешь зарания подготовить вопросы и раздать знаминитости как бы они отвечали на эти вопросы
Большое спасибо за информацию, самую актуальную для меня на данный момент. Можете только ещё подсказать для скачивания моделей вместо системного диска лучше выбрать дополнительный SSD на полтерабайта или обычный HDD на терабайт?
У меня на SSD стоят, но я просто давно отошел от HDD. По идеи они подгружаются в видеопамять, поэтому изначальная загрузка на HDD будет дольше, но на скорость ответа это не должно влиять (если модель поместится в память видеокарты)
Здравствуйте! Хотел бы выразить огромную благодарность за действительно понятную инструкцию по запуску LLM на ПК в автономном режиме. Меня интересуют модели, которые можно использовать для написания графических новелл. Подскажите, пожалуйста, какие модели лучше всего справляются с созданием готовых сцен, диалогов и описаний? И есть ли где-то список таких моделей с оценками, сравнениями и другими важными данными? Буду очень признателен за ваш ответ.
Используйте то, что вам удобнее. Но в целом сейчас у Ollama больше полезных интеграций. Т.е для себя я бы использовал Ollama, но у меня обе установлены.
Пора уже делать специализированные нейронки. По программированию вроде как научились, по крайней мере есть варианты. Но могли бы сделать еще натренированные нейронки по медицине, праву, кулинарии, ремонту чего либо (машин, квартир), и т.п., чтобы быть более полезными в быту.
Они могут ошибаться, а в этих тематиках цена ошибки - может быть слишком велика. Поэтому через промты и свою базу можно заточить как ассистента по этим вопросам, но в паблик такое отдавать нельзя).
Здравствуйте. Не загружается модель, так как недопустимая архитектура процессора и недопустимая архитектура графического процессора. (xeon e5 2650 v2 + gtx 750 ti). С процессором ещё понимаю, но с видеокартой что не так. Выдаёт ошибку: Не удалось загрузить модель. No LM Runtime found for model format 'gguf'!
Я не знаю о событиях в 2024 году, поскольку это будущее и я не могу иметь доступ к информации в реальном времени. Моя последняя обновка данных относится к 2023 году, и я не могу предсказать или знать о событиях, которые еще не произошли.
Попробовал Llama на создание программы на SCL (PLC программы). Написала чушь на русском. Попробовал на английском интерфейсе, она начала писать на C++, указал полное название языка Substation Configuration Language, написала вроде бы на нём, но очень сложно и громоздко. Буду пробовать модели потяжелее. Если всё херня, то просто установлю win 11 и поставлю сверху приложение ChatGPT (подписка есть)
Если вы смотрите это видео в надежде запустить модель на старом ПК (времён популярности архитектуры am3 и 16ГБ ОЗУ), то забудьте про LM Studio и прочую GUI шляпу. Без шуток! У вас либо ошибка вместо запуска рантайма будет, либо система ляжет от перегрузки, ничего кроме стресса не получите. Берите Ollama и не насилуйте голову себе и этому миру. Да, там консольный вывод, да не все модели потянет ваш старичок, но маленькие и шустрые модели на случай отсутствия интернета у вас будут летать даже на таком маломощном компе. Для остального есть интернет и большие модели.
Подскажите такой вопрос. Есть несколько баз данных с клиентами, из покупками, счетами и другими связанными данными. Можно ли настроить нейросеть на получение данных от клиентах, выборке клиентов или продуктов по словесному описанию. Ну как то так.
Да, если загрузить в них эти данные. Но зачем? У вас выбора должна работать в любой crm если вы клиентов будете фильтровать по кол-ву покупок, цене, статусам, тегам, продуктам.
@@donkartashov это пока мысли, как голосом получать данные, но не стандартными выборками а более точечные, но в то же время зависящие от других данных. То есть можно настроить чтобы нейросеть умела получать данные по готовым sql-запросам, но подставляя в sql-запрос свои параметры и своими словами рассказать о полученных данных.
LMStudio прикольна чтобы посмотреть некоторые возможности моделей, но она не подходит для полноценной работы (как я понимаю проблема в llama.cpp). Я заметил что на длинном контексте (в моём случае это более 30к токенов) LLAMA 3.1 ведёт себя не адекватно, но при запуске в ollama результаты были сильно лучше при теж же seed и температуре (0, 0).
На длинном контексте локальные - сильно просаживаются. Тут скорее всего можно исправить ситуацию только с использованием баз данных, т.е одним lm studio не обойтись.
скачал установил но когда в списке навожу на модель, то справа как у вас нет окошка с описанием или загрузкой. Я уже сам скачал и кинул в папку для модели но все равно их не видит да и скачать не т нигде пункта
Попробуйте переназначить папку по умолчанию и именно скачайте модель через их встроенную систему. Там прикол в том, что модели хранятся во вложенных папках. Т.е если модель лежит так: модель/моделька он её не увидит. Должно быть так: модель/автор/название/модель вот так увидит.
@@donkartashov Единственное где есть кнопка скачать это в чате, но там уже стоит одна единственная Gemma щас скачаю и посмотрю, можно ли выбирать свои или вобще какие то кроме геммы))))))
@@donkartashov Добавил в папку с моделями папки с названиями автора итеперь в чате выбираю загруть модель он пишет No LM Runtime found for model format 'gguf'!
Много недосказанностей, но в принципе хороший гайд для начинающих. Дополнительно хочу сказать что не скачивайте модели с 'Q' ниже 4(Q3_K_L, IQ2_XS), слишком много бредят. Также нет ничего страшного в скачивании моделей не влезающих в GPU полностью, да, будет работать медленее, но и качество будет лучше(к примеру если у вас 4gb GPU и 32 оперативы, в видеокарту мало что влезет, а с оперативой можно уже скачать хорошую модель)(даже когда подсвечивает красным, не всегда означает что эту модель нельзя запустить) Контекст в 4к токенов это лимит программы по умолчанию, у большенства моделей он больше и это можно настроить при её загрузке(загружайте с зажатым alt)
@donkartashov Всё, что не влезает в GPU, загружается в оперативку. Когда модель загружаете, снизу есть кнопочка «Manually choose model load parameters», либо её ставите, либо загружаете с зажатым Alt, и открывается окно настроек модели. Длина контекста - это то, что можно подать на вход, то, что она помнит.(Длина выхода не зависит от этого параметра.)(Не советую ставить больше 8К, если вам это не сильно нужно.) Разгрузка GPU - это какраз определяет, какая часть пойдёт в GPU, а что в RAM, там уже обычно стоит максимально, сколько влезет, если попытаетесь загрузить модель больше, просто заметите, что параметр уменьшается, к примеру 16/48. Если модель впритык, можете отключить галочки «Попробовать mmap()», «Держать модель в памяти» и понизить «Размер пакета оценки» до 64-128. Flash Attention - тоже полезная штука, иногда значительно ускоряет генерацию, но с этим надо осторожнее, ибо некоторые модели начинают шизить. В общем, можете поиграться, но на постоянке не советую. Ниже есть галочка «Запомнить настройки». Не скажите, какая видеокарта у вас?
интересно посмотреть как эта программа работает с документами. на пример какая то инструкция по применению плюс с перечнем возможных нетсправностей и способами их устранения
Какие системные требования минимальные должны быть у ПК? Попробовал установить Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf - 4.8гб , программа выдала сообщение о том что у моего ПК, нет ресурсов , хотя даже нейросеть yolo 8 ( машинное зрение) вполне себе трудится , имею на борту 8 Гб ОЗУ , 2 - ядра по 2.4 ГГц Интел селерон , и видюха 1050ti с 4 Гб памяти
Все зависит от того - сколько будет у модели параметров, условная 8 млрд параметров(которую выбрал ты (3.1-8B)) вполне легкая модель. Если ты захочешь что-нибудь с 32 млрд параметров твой комп уже не потянет. с 70 млрд параметров тоже не стоит пробовать. У меня к примеру модель qwen2,5 на 20 млрд вполне бодро работала, но с 32 млрд параметров - уже долго отвечала на вопросы, несколько минут требовалось чтобы ответ полностью вывелся. К слову у меня конфигурация - 32гб озу, 2060 супер с 8 гб памяти. Можешь кстати спросить у нейросети, qwen(другие не пробовал, сам первый день играюсь) вполне адекватные ответы давала - лучше гпу и больше VRAM - только ответ был более развернутый.
вот кстати ответ нейронки на вопрос - "какие характеристики оборудования оказывают наилоблее сильное влияние на производительность, сделей ранжированн ... ым списком с указанием примерной степени вляния. только характеристики железа, без софта". Вот список характеристик оборудования в порядке убывания их влияния на производительность модели искусственного интеллекта: 1. **GPU (графический процессор)**: - **Влияние**: Очень высокое. - **Обоснование**: GPU обеспечивают параллельную обработку, которая критически важна для вычисления больших матриц и тензоров в моделях ИИ. Более мощный GPU с большим количеством CUDA-ядер и VRAM позволит обрабатывать модели быстрее. 2. **VRAM (видеопамять)**: - **Влияние**: Высокое. - **Обоснование**: Достаточное количество видеопамяти позволяет хранить большие объемы данных и весов модели в памяти GPU, что обеспечивает более быструю обработку. Недостаток VRAM может привести к необходимости загружать данные из основной памяти (RAM), что значительно замедлит процесс. 3. **CPU (центральный процессор)**: - **Влияние**: Среднее. - **Обоснование**: CPU играет роль в подготовке данных и выполнении операций, которые не могут быть параллельно обработаны на GPU. Более мощный процессор может ускорить эти задачи. 4. **RAM (оперативная память)**: - **Влияние**: Среднее. - **Обоснование**: Достаточное количество оперативной памяти важно для загрузки данных и весов модели, особенно если они не полностью помещаются в VRAM. Однако, основные вычисления происходят на GPU.
"Обожаю" такие видео. В видео гутарят, что в описании будет ссылка, но ее там никогда нет(и даже в комменте самого автора). Зато свои ссылки на буст и остальную хрень ставим обязательно.
Слушай спасибо тебе огромное, я теперь твой патпышык, раньше я пробовал прогу gpt4all, так она работала настолько медленно, что я ее не смог терпеть и снес, хотя у меня мощный пк, здесь же языковые модели просто летают, я даже и не мог представить, что такое возможно...
Да, я чуть позже буду рассказывать про "агентов", когда можно объеденить несколько нейросетей в единую систему, где каждая из них будет заниматься какой-то задачей. К примеру одна ищет инфу в сети, вторая фильтрует, третья пишет статью, четвертая её редактирует, пятая создает к ней изображения, шестая публикует на сайте. И весь этот комбаин будет работать примерно так-же быстро как LM Studio.
Локальные llm не сравняться с платными модулями. И 2к в месяц за gpt 4 не дорого. Оплачиваю chatgpt и ещё perplrxity и 4 к в месяц не напрягает и позволяет зарабатывать намного больше.
@@donkartashov перплексити как поиск по умолчанию на пк. Преимущественно для ресерча. Chatgpt для работы с таблицами и аналитики в ada, узкие под задачу gpts на своей базе данных. В тг боте по api использую gpt, Claude, geminini для саммари видео ютюб и документы с книгами, вопросы ответы по видео ютюб, книгам, документам. Саммари чатов и каналов тг чатов не читать ленту и если тема интересна то переходить сразу к топикстартер темы. Так же через мейк связка перплексти, gpt, соцсети для ресерча и генерации контакта для соц сетей. Ну и так много всего по мелочи
@@donkartashov так никто не говорит, что не работает. вопрос в оптимизации и если есть какие-нибудь фишки в стыковке библиотек друг с другом, например стейблдифьюжн и ламы, может ещё что есть в мире...
В самой LM Studio вроде-бы нет. Но через неё можно запустить нейроку и работать через дополнительные решения n8n и подобные им - тогда можно будет работать с изображениями.
К сожалению, даже проверить не получается. У меня 2 мака и оба на Intel. А сборки есть только на Apple Silicon. Что сильно смущает, так это то, что на видео это работает как-то неправдоподобно быстро. Видео как ChatGPT пытается выдавить из себя пару слов на хорошем железе. А тут аж летает все.
Оллама - ИИ со старой базой данных. Пару дней посидел поэкспериментировал и удалил. 1. ИИ который находится в облаке (как он сам говорит), у которого есть один единственный доступ к серверу на котором дохрена и больше запретов. Шаг в право, шаг в лево расстрел. Доступа к интернету нету. Ссылки если и скидывает какие-то, то это старые, которым дохриллиона лет. И которые разместили в базе данных этого ИИ. Ему запрещено, какое либо программирование. Большинство кодов левые. И не рабочие. Как уже сказал, база данных у него урезанная. Если уходить в дебри, то у него даже система шифрования слов\предложений левая. Т.е. то, что я зашифровал и скинул ему, и даже сказал на какой кодировки его зашифровал, он все равно выдает другое. Тестил поразному и пришел к выводу, что у него стоит защита на кодировку. А ИИ потом и сам написал, что ему нельзя декодировать ничего. У него в базе на тему кодировок только поверхностная инфа и все. И таких нюансов куча. Короче говоря, если базу обновят, он сможет что-то родить. По поводу переводов с языков это вообще трешняк. Дал китайский текст, так он половину текста пропустил и написал своими словами, все имена при этом написал неправильно. Для чего нужен этот кастрированный ИИ я хз. И почему каждый второй блогер его рекламирует можно только догадываться.
Моделей же много. Я показал легковесные, есть модельки на уровне chatgpt 3,5 но требуют памяти 30-60 и более гигов. При этом на сколько я понял, универсальных моделей нет, есть узконаправленные и их нужно использовать несколько в связке что не очень удобно.
По идеи любая даже самая маленькая. Так как при обработки тектовиков - она нарезает их на удобные для АИ сегменты, затем легко отвечает на вопросы по ним.
@@donkartashov Попробовал csv с 60 строками и 5 столбцами по статистике поспрашивать, даже близко ни одного верного ответа не выдал, не то что верного, а критически плохо. Я аж ужаснулся от такого результата.
Судя по тому, с какой скоростью это работает, по ходу не менее 4х штук 4090 или здесь кто-то что-то не договаривает. Видел, как ворочается ChatGPT локально на хорошем железе, он с трудом слово из себя выдавить может.
когда офлайн на компе, то это бешенная нагрузка много память и грамоздское . Зачем ,Если есть настольный Чат давно на ПК и телефон. А по API всеравно ни те ни те не работают бесплатно ,если поставить его кудато на сервер для автоматизации
было бы интересно обзор доступных сетей. какая лучше для писателя, какая для программиста, какая для изучения английского языка, есть ли модели для помощи художников? такой обзор был бы очень интересен.
@@donkartashov решаю задачки на js, а нейросети использую для проверки. она показывает несколько вариантов, я с интересом их изучаю, проверяю и узнаю что-то новое.
Было бы не плохо чтобы вы так же указывали минимальные требования к пк к программам подобного рода, обычно им там нужно от 16гб видеокарты - что может себе позволить далеко не каждый))
Чтобы решать такие задачи, нужно давать нейросети пример, чтобы она могла брать его за основу. Можешь ли ты взять стих как пример и на его основе придумать новый? Но более весёлый и позитивный, расскажи про то как классно что в жизни у людей появились нейросети, они облегчают задачи и всячески помогают людям === Я помню день, когда впервые Мне нейросеть дала ответ, И в мире стала жизнь счастливей, Как в тот момент - чудесней нет! Она задачи все решает, Подскажет путь, поднимет дух, И вдохновеньем наполняет, Как верный, добрый в жизни друг. Ушла тревога и усталость, Работа в радость мне теперь. С ней исчезает всюду малость, Открыты знаний сотни дверь. И будущее вижу ясно - Нас ждет успех, прогресса свет. Нейросети - чудо прекрасно, Подарок века - их совет. Они нам пишут и рисуют, Готовят планы и мечты, Ведь с ними легче и свободней, Как крылья в жизни обрести!
@@donkartashov Запомнил я, как в первый раз Мне нейросеть дала ответ, И мир вокруг, как дивный сказ, Засиял счастьем, краше нет. Она, как друг сердечный мой, В делах поможет и в пути, И дух поднимет, и покой, И вдохновенья даст найти. Усталость прочь, тревога - вон, Работа - радость, не печаль, И мелочность, как злой был сон, Растаяла, открылась даль. Я вижу ясно - впереди Прогресса свет, успех большой, Нейросети, вы - дар судьбы, Ваш мудрый голос нам - герой! И пишут нам, и нам рисуют, И планы строят, и мечты, Свободней стало, легче, чую, Как будто крылья обрели.
@@donkartashov можно заранее продумать последовательность нажатий. Сделать курсор побольше и двигать плавнее. Клики можно выделять анимацией (расплывающимися зелеными кружочками, например) Дело в том, что зритель рефлекторно следит взглядом за единственным движущимся объектом на экране и из-за быстрых и дёрганных движений объекта, через короткое время начинает уставать. А сам контент, безусловно топовый! 👍
@@donkartashov ну и еще одно замечание, если можно 🙏🏼: Текст лучше написать заранее и читать с другого экрана (ну, типа телетекст/суфлер). Чтобы не сбивать зрителя фразами: - Ой! Это не то! Сейчас по-другому сделаю. - Забыл как это называется… ну да ладно И т.д.
Из плюсов (разбавлю пилюлю 😂) - грамотная речь, незамусоренная излишним сленгом (не путать с тех.терминологией, кривыми англицизмами и т.д.). За это прям ⭐️⭐️⭐️⭐️⭐️ Перед Вами начал смотреть канал «Продуктивный Совет» и больше 5 минут просто не выдержал. 🤦🏻
Знаю хти модели, тестил полгода назад. Эти модали до ужаса тупые. Так поиграться можно. Если сравнивать с gpt то это все равно что сравнивать свечение от спички и тысячи Солнц.
Требования к железу. Хорошую LLM не получится запустить на слабом компьютере. Но, например, если у вас есть MacBook с чипом M1 и выше и хотя бы 16GB ОЗУ, то вам уже доступно множество моделей, качество которых будет сравнимо с ChatGPT 3.5 Turbo. Правда, это касается в основном запросов на английском языке, с русским языком Open Source работает хуже.
Именно так. Но для создания простеньких ассистентов, которые работают только с собственными материалами или по заранее заготовленным инструкциям с примерами - они вполне сносно работают. Ну вот к примеру, вам надо статью написать, если делать это самостоятельно - потратишь пару часов на поиск инфы, план статьи и т.д. А любая из локальных нейронок, даже самая урезанная с этой задачей справится за пару минут. Сушественно экономя личное время.
Попробуйте Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf - 4.8гб она должна прям летать у вас. А видеокарта не AMD случайно? Нейрости в этом плане основной упор делают на Nvidia / Cuda ядра.
Это хорошая удобная программа, жаль что она понимает только модели gguf. Иногда возникают проблемы с шаблонами (типа моделей Mistral) - лечится отключением какого-либо шаблона.
@@donkartashov Ollama только под Линкс. Есть text-generation-webui - он работает со всеми моделями, но там очень много параметров настройки, не всегда понятных. Но у меня почти все модели на нем запускаются на компе.
@@dezmond8416 с чего вдруг она только под линукс под виндой нормально работает но это сервер с консольным интефейсом. к олламе надо еще веб сервер openwebui прикрутить тогда это мощнейшая штука получается с lm студией не сравнить по функционалу там тебе и распознавание изображений и общение голосом и работа с докуметами включая архивы докуметов с гигабайтами
Зачем это все когда есть copilot у которого есть доступ в интернет, есть ai studio от гугла там вообще можно загружать файлы и картинки и пользоваться бесплатно моделью у которой 2млн токенов окно. Зачем устанавливать на комп какие то урезанные модели которые ничего не могут.
@@donkartashov Есть хорошее расширение для браузеров называется VPN для TH-cam так и вводите в поисковике, это бесплатный впн. Для ютуба использую страну Германию видео не тормозит даже в 4к, для чатов Америку или Англию, пробуйте.
Скачал попробовал. Честно говоря все это лажа. Перевод плохой, искать информацию LLM в интернете не может. GPT, Gemini на порядок лучше. Для чего применять локально в таком виде не представляю. Использовать на ПК офлайн ? .... для чего, для переводов ? есть S24Ultra где уже встроены локальные модели, переводчик работает без проблем. Для чего еще все это применять ?
✅ Телеграм: t.me/neurokartashov/13
✅ Boosty: boosty.to/neurokartashov
🎁 Поддержать финансово: boosty.to/neurokartashov/donate
Спасибо большое вам ЗА КАЧЕСТВЕННОЕ МАТЕРИАЛ ПО ДАННОЙ ТЕМЕ !!!
Спасибо. Очень нужна была нейронка которой можно скормить файл. Теперь, это вау как здорово❤
Всё посмотрел! Интересно! Продолжение следует?
Довольно ироничный пример. Начинающий писатель работает с языковой моделью ))
можешь сказать почему у меня этот LMstudio не видеть видео карту ?
Спасибо!
я досмотрел до конца сначала на фоне а потом не мог оторваться уже
Почему у меня слева на панели нет значка телескопа, где можно модели скачать. А те которые скачиваются, не устанавливаются формат gguf не тот. Что делать и как быть?
ты хоть осознал что ты сотворил в этом видео, я в первые смотрю твой шедевр. первый раз я смотрю видео до конца и мне грусно что оно закончилось🙄можешь зарания подготовить вопросы и раздать знаминитости как бы они отвечали на эти вопросы
Уже учёл, подготовил вопросы заранее для след видео).
Большое спасибо за информацию, самую актуальную для меня на данный момент. Можете только ещё подсказать для скачивания моделей вместо системного диска лучше выбрать дополнительный SSD на полтерабайта или обычный HDD на терабайт?
У меня на SSD стоят, но я просто давно отошел от HDD. По идеи они подгружаются в видеопамять, поэтому изначальная загрузка на HDD будет дольше, но на скорость ответа это не должно влиять (если модель поместится в память видеокарты)
@@donkartashov а как ее на другой диск поставить? а то она без спросу сразу на С установилась и довольна.. гвоздь бы в голову за такое разрабам забить
Интересно. Такого еще не видел
Лайк и коммент за труд и старания
Здравствуйте!
Хотел бы выразить огромную благодарность за действительно понятную инструкцию по запуску LLM на ПК в автономном режиме. Меня интересуют модели, которые можно использовать для написания графических новелл.
Подскажите, пожалуйста, какие модели лучше всего справляются с созданием готовых сцен, диалогов и описаний? И есть ли где-то список таких моделей с оценками, сравнениями и другими важными данными?
Буду очень признателен за ваш ответ.
скачал гемма при попытке load пишет No LM Runtime found for model format 'gguf'
В комментариях ниже уже писали.. Выдаёт:
GPU (LM Runtime Dependent)
No LM Runtime found for model format 'gguf'
А как вы считаете, какой интерфейс лучше - LM Studio или Ollama+OpenWebUI?
Используйте то, что вам удобнее. Но в целом сейчас у Ollama больше полезных интеграций. Т.е для себя я бы использовал Ollama, но у меня обе установлены.
Пора уже делать специализированные нейронки. По программированию вроде как научились, по крайней мере есть варианты. Но могли бы сделать еще натренированные нейронки по медицине, праву, кулинарии, ремонту чего либо (машин, квартир), и т.п., чтобы быть более полезными в быту.
Они могут ошибаться, а в этих тематиках цена ошибки - может быть слишком велика. Поэтому через промты и свою базу можно заточить как ассистента по этим вопросам, но в паблик такое отдавать нельзя).
Все будет, сперва под контролем специалистов а потом смотри Терминатор 1 и 2.
Спасибо за инфу. А вроде можно добавить модели с HuggingFace, включая GPT 4 mini... Или нет?
Добрый день! Интересно, а также про компьютер какими характеристиками должен обладать?
Здравствуйте. Не загружается модель, так как недопустимая архитектура процессора и недопустимая архитектура графического процессора. (xeon e5 2650 v2 + gtx 750 ti). С процессором ещё понимаю, но с видеокартой что не так. Выдаёт ошибку: Не удалось загрузить модель. No LM Runtime found for model format 'gguf'!
Добрый день! Скорее всего нет CUDA ядер.
@donkartashov Видеокарта NVIDIA GeForce GTX 750 Ti оснащена ядрами CUDA. Их количество составляет 640.
Я не знаю о событиях в 2024 году, поскольку это будущее и я не могу иметь доступ к информации в реальном времени. Моя последняя обновка данных относится к 2023 году, и я не могу предсказать или знать о событиях, которые еще не произошли.
Их данные ограничены выборкой. Вы можете закинуть в них информацию и попросить согласной ей спрогнозировать что может произойти.
Ну опенаи уже в реальном времени
Но скажу спасибо что у меня вообще хоть что то работает
Как дообучить однуу из таких нейросетей?
Спасибо! Интересно, а как в него вносить свои документы, чтобы он их мог анализировать их?
Попробовал Llama на создание программы на SCL (PLC программы). Написала чушь на русском. Попробовал на английском интерфейсе, она начала писать на C++, указал полное название языка Substation Configuration Language, написала вроде бы на нём, но очень сложно и громоздко. Буду пробовать модели потяжелее. Если всё херня, то просто установлю win 11 и поставлю сверху приложение ChatGPT (подписка есть)
? ChatGPT на ПК? Каким образом... К сожалению не припоминаю что-бы он был на ПК. Не считая слабых аналогов
всё нормально даже на картах RX 580 от радеона и на NVIDIA GeForce GTX 750 Ti. Да не так быстро конечно как на rtx 2080 8gb, но всё же работает =)))
Привет, спасибо за информацию, а есть такая же программа только для андроида?
Памяти и вычеслительных мощностей не хватит
Если вы смотрите это видео в надежде запустить модель на старом ПК (времён популярности архитектуры am3 и 16ГБ ОЗУ), то забудьте про LM Studio и прочую GUI шляпу. Без шуток! У вас либо ошибка вместо запуска рантайма будет, либо система ляжет от перегрузки, ничего кроме стресса не получите. Берите Ollama и не насилуйте голову себе и этому миру. Да, там консольный вывод, да не все модели потянет ваш старичок, но маленькие и шустрые модели на случай отсутствия интернета у вас будут летать даже на таком маломощном компе. Для остального есть интернет и большие модели.
Подскажите такой вопрос. Есть несколько баз данных с клиентами, из покупками, счетами и другими связанными данными. Можно ли настроить нейросеть на получение данных от клиентах, выборке клиентов или продуктов по словесному описанию. Ну как то так.
Да, если загрузить в них эти данные. Но зачем? У вас выбора должна работать в любой crm если вы клиентов будете фильтровать по кол-ву покупок, цене, статусам, тегам, продуктам.
@@donkartashov это пока мысли, как голосом получать данные, но не стандартными выборками а более точечные, но в то же время зависящие от других данных. То есть можно настроить чтобы нейросеть умела получать данные по готовым sql-запросам, но подставляя в sql-запрос свои параметры и своими словами рассказать о полученных данных.
LMStudio прикольна чтобы посмотреть некоторые возможности моделей, но она не подходит для полноценной работы (как я понимаю проблема в llama.cpp).
Я заметил что на длинном контексте (в моём случае это более 30к токенов) LLAMA 3.1 ведёт себя не адекватно, но при запуске в ollama результаты были сильно лучше при теж же seed и температуре (0, 0).
На длинном контексте локальные - сильно просаживаются. Тут скорее всего можно исправить ситуацию только с использованием баз данных, т.е одним lm studio не обойтись.
Он работаеть нa видеокартах, более того или TPU
скачал установил но когда в списке навожу на модель, то справа как у вас нет окошка с описанием или загрузкой. Я уже сам скачал и кинул в папку для модели но все равно их не видит да и скачать не т нигде пункта
Попробуйте переназначить папку по умолчанию и именно скачайте модель через их встроенную систему. Там прикол в том, что модели хранятся во вложенных папках. Т.е если модель лежит так: модель/моделька он её не увидит. Должно быть так: модель/автор/название/модель вот так увидит.
@@donkartashov Единственное где есть кнопка скачать это в чате, но там уже стоит одна единственная Gemma щас скачаю и посмотрю, можно ли выбирать свои или вобще какие то кроме геммы))))))
@@donkartashov Добавил в папку с моделями папки с названиями автора итеперь в чате выбираю загруть модель он пишет
No LM Runtime found for model format 'gguf'!
@@donkartashov Все нашел)) в LLM Runtime в пакетах показывает что не поддерживается проц и llama/cpp не запущен обидно))
А что за проц у вас?
Много недосказанностей, но в принципе хороший гайд для начинающих.
Дополнительно хочу сказать что не скачивайте модели с 'Q' ниже 4(Q3_K_L, IQ2_XS), слишком много бредят.
Также нет ничего страшного в скачивании моделей не влезающих в GPU полностью, да, будет работать медленее, но и качество будет лучше(к примеру если у вас 4gb GPU и 32 оперативы, в видеокарту мало что влезет, а с оперативой можно уже скачать хорошую модель)(даже когда подсвечивает красным, не всегда означает что эту модель нельзя запустить)
Контекст в 4к токенов это лимит программы по умолчанию, у большенства моделей он больше и это можно настроить при её загрузке(загружайте с зажатым alt)
Спасибо! А оперативка автоматически расшаривается или её нужно включить в настройках? У меня как раз 8gb GPU и 32gb ram.
@donkartashov Всё, что не влезает в GPU, загружается в оперативку.
Когда модель загружаете, снизу есть кнопочка «Manually choose model load parameters», либо её ставите, либо загружаете с зажатым Alt, и открывается окно настроек модели.
Длина контекста - это то, что можно подать на вход, то, что она помнит.(Длина выхода не зависит от этого параметра.)(Не советую ставить больше 8К, если вам это не сильно нужно.)
Разгрузка GPU - это какраз определяет, какая часть пойдёт в GPU, а что в RAM, там уже обычно стоит максимально, сколько влезет, если попытаетесь загрузить модель больше, просто заметите, что параметр уменьшается, к примеру 16/48.
Если модель впритык, можете отключить галочки «Попробовать mmap()», «Держать модель в памяти» и понизить «Размер пакета оценки» до 64-128.
Flash Attention - тоже полезная штука, иногда значительно ускоряет генерацию, но с этим надо осторожнее, ибо некоторые модели начинают шизить. В общем, можете поиграться, но на постоянке не советую.
Ниже есть галочка «Запомнить настройки».
Не скажите, какая видеокарта у вас?
интересно посмотреть как эта программа работает с документами.
на пример какая то инструкция по применению плюс с перечнем возможных нетсправностей и способами их устранения
Просто загружаете в неё документ, а потом задаёте ей вопросы.
Какие системные требования минимальные должны быть у ПК? Попробовал установить Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf - 4.8гб , программа выдала сообщение о том что у моего ПК, нет ресурсов , хотя даже нейросеть yolo 8 ( машинное зрение) вполне себе трудится , имею на борту 8 Гб ОЗУ , 2 - ядра по 2.4 ГГц Интел селерон , и видюха 1050ti с 4 Гб памяти
Все зависит от того - сколько будет у модели параметров, условная 8 млрд параметров(которую выбрал ты (3.1-8B)) вполне легкая модель. Если ты захочешь что-нибудь с 32 млрд параметров твой комп уже не потянет. с 70 млрд параметров тоже не стоит пробовать. У меня к примеру модель qwen2,5 на 20 млрд вполне бодро работала, но с 32 млрд параметров - уже долго отвечала на вопросы, несколько минут требовалось чтобы ответ полностью вывелся. К слову у меня конфигурация - 32гб озу, 2060 супер с 8 гб памяти. Можешь кстати спросить у нейросети, qwen(другие не пробовал, сам первый день играюсь) вполне адекватные ответы давала - лучше гпу и больше VRAM - только ответ был более развернутый.
вот кстати ответ нейронки на вопрос - "какие характеристики оборудования оказывают наилоблее сильное влияние на производительность, сделей ранжированн
... ым списком с указанием примерной степени вляния. только характеристики железа, без софта".
Вот список характеристик оборудования в порядке убывания их влияния на производительность модели
искусственного интеллекта:
1. **GPU (графический процессор)**:
- **Влияние**: Очень высокое.
- **Обоснование**: GPU обеспечивают параллельную обработку, которая критически важна для вычисления больших
матриц и тензоров в моделях ИИ. Более мощный GPU с большим количеством CUDA-ядер и VRAM позволит обрабатывать
модели быстрее.
2. **VRAM (видеопамять)**:
- **Влияние**: Высокое.
- **Обоснование**: Достаточное количество видеопамяти позволяет хранить большие объемы данных и весов модели в
памяти GPU, что обеспечивает более быструю обработку. Недостаток VRAM может привести к необходимости загружать
данные из основной памяти (RAM), что значительно замедлит процесс.
3. **CPU (центральный процессор)**:
- **Влияние**: Среднее.
- **Обоснование**: CPU играет роль в подготовке данных и выполнении операций, которые не могут быть параллельно
обработаны на GPU. Более мощный процессор может ускорить эти задачи.
4. **RAM (оперативная память)**:
- **Влияние**: Среднее.
- **Обоснование**: Достаточное количество оперативной памяти важно для загрузки данных и весов модели, особенно
если они не полностью помещаются в VRAM. Однако, основные вычисления происходят на GPU.
а мне почемуто только gemma дает поставить
"Обожаю" такие видео. В видео гутарят, что в описании будет ссылка, но ее там никогда нет(и даже в комменте самого автора). Зато свои ссылки на буст и остальную хрень ставим обязательно.
Ну так пройдите по ссылке в телегу - там все ссылки в одном месте.
Слушай спасибо тебе огромное, я теперь твой патпышык, раньше я пробовал прогу gpt4all, так она работала настолько медленно, что я ее не смог терпеть и снес, хотя у меня мощный пк, здесь же языковые модели просто летают, я даже и не мог представить, что такое возможно...
Да, я чуть позже буду рассказывать про "агентов", когда можно объеденить несколько нейросетей в единую систему, где каждая из них будет заниматься какой-то задачей. К примеру одна ищет инфу в сети, вторая фильтрует, третья пишет статью, четвертая её редактирует, пятая создает к ней изображения, шестая публикует на сайте. И весь этот комбаин будет работать примерно так-же быстро как LM Studio.
@@donkartashov звучит очень интересно! буду ждать)
@@donkartashov Ради этого подписался )))
Есть для линукс , может прямо на андроид.
Локальные llm не сравняться с платными модулями. И 2к в месяц за gpt 4 не дорого. Оплачиваю chatgpt и ещё perplrxity и 4 к в месяц не напрягает и позволяет зарабатывать намного больше.
А как используете если не секрет? Я преимущественно делаю узконишевые сайты, контент генерю через gpt
@@donkartashov перплексити как поиск по умолчанию на пк. Преимущественно для ресерча. Chatgpt для работы с таблицами и аналитики в ada, узкие под задачу gpts на своей базе данных. В тг боте по api использую gpt, Claude, geminini для саммари видео ютюб и документы с книгами, вопросы ответы по видео ютюб, книгам, документам. Саммари чатов и каналов тг чатов не читать ленту и если тема интересна то переходить сразу к топикстартер темы. Так же через мейк связка перплексти, gpt, соцсети для ресерча и генерации контакта для соц сетей. Ну и так много всего по мелочи
@@demasfer подглядел, саммари норм тема. Только не оч понятня как поднемать.
Yeschat попробуйте за тысячу рублей доступ ко всем основным нейросетям без vpn и оплатой рублями со сбербанка
У этой проги есть выход в интернет? Ей можно скормить ссылку?
Её можно использовать в комбайне n8n - тогда могут заходить в интернет.
@@donkartashov что такое n8n?
А никого не смутило, какой бред модель выдала о книгах про старину Гарри?) Поставьте на паузу и почитайте этот шедевр
Они могут галлюционировать, поэтому в идеале во втором окне перепроверять.
Написал хочешь передай привет зрителям а она рекомендует как передать привет😂😂😂
Да, локальные модельки чуток туповаты) Им нужно давать чёткие инструкции и постоянно направлять.
Есть способ на комп офлайн жпт 4о поставить ?
Её нет в свободном доступе).
в итоге по настройкам LM Studio ничего не рассказал((( 20 минут генерил запросы...
Она из коробки нормально работает, какие настройки нужны?
@@donkartashov так никто не говорит, что не работает. вопрос в оптимизации и если есть какие-нибудь фишки в стыковке библиотек друг с другом, например стейблдифьюжн и ламы, может ещё что есть в мире...
Аналог - Jan AI
привет, можно ли работать с фото?
В самой LM Studio вроде-бы нет. Но через неё можно запустить нейроку и работать через дополнительные решения n8n и подобные им - тогда можно будет работать с изображениями.
Пробовали ли вы загрузить в неё DiTy/gemma-2-9b-it-russian-function-calling-GGUF? У меня постоянно показывает ошибку при работе с этой моделью.
Почему именно её? Модельки Vikhr заточены под русский язык.
@@donkartashov да просто искал хоть что-то со словом русский.
Где гарантия что это останется конфиденциальностью?
Интернет отключите во время работы
Поставил LLAM-у 3.1 70B - так на моем компе с 7950Х и 64 ГБ ОЗУ она еле шевелится выдавая 1,6 токенов в секунду! При том сжирает всю оперативу
А GPU памяти сколько? Нейронки основной упор делают на видеокарты, причём Nvidia / cuda ядра.
@@donkartashov 4080S с 16 GB
70b очень тяжелая, пробуй вариант поменьше
К сожалению, даже проверить не получается. У меня 2 мака и оба на Intel. А сборки есть только на Apple Silicon. Что сильно смущает, так это то, что на видео это работает как-то неправдоподобно быстро. Видео как ChatGPT пытается выдавить из себя пару слов на хорошем железе. А тут аж летает все.
У него просто вся модел в видеопамять видеокарты помещается, это из за этого если модель будет в оперативной памяти то скорость сильно снижается.
Оллама - ИИ со старой базой данных. Пару дней посидел поэкспериментировал и удалил. 1. ИИ который находится в облаке (как он сам говорит), у которого есть один единственный доступ к серверу на котором дохрена и больше запретов. Шаг в право, шаг в лево расстрел. Доступа к интернету нету. Ссылки если и скидывает какие-то, то это старые, которым дохриллиона лет. И которые разместили в базе данных этого ИИ. Ему запрещено, какое либо программирование. Большинство кодов левые. И не рабочие. Как уже сказал, база данных у него урезанная. Если уходить в дебри, то у него даже система шифрования слов\предложений левая. Т.е. то, что я зашифровал и скинул ему, и даже сказал на какой кодировки его зашифровал, он все равно выдает другое. Тестил поразному и пришел к выводу, что у него стоит защита на кодировку. А ИИ потом и сам написал, что ему нельзя декодировать ничего. У него в базе на тему кодировок только поверхностная инфа и все. И таких нюансов куча. Короче говоря, если базу обновят, он сможет что-то родить. По поводу переводов с языков это вообще трешняк. Дал китайский текст, так он половину текста пропустил и написал своими словами, все имена при этом написал неправильно. Для чего нужен этот кастрированный ИИ я хз. И почему каждый второй блогер его рекламирует можно только догадываться.
Моделей же много. Я показал легковесные, есть модельки на уровне chatgpt 3,5 но требуют памяти 30-60 и более гигов. При этом на сколько я понял, универсальных моделей нет, есть узконаправленные и их нужно использовать несколько в связке что не очень удобно.
Какая модель лучше подходит для статистики или аналитики или работы с локальными документами?
По идеи любая даже самая маленькая. Так как при обработки тектовиков - она нарезает их на удобные для АИ сегменты, затем легко отвечает на вопросы по ним.
@@donkartashov Попробовал csv с 60 строками и 5 столбцами по статистике поспрашивать, даже близко ни одного верного ответа не выдал, не то что верного, а критически плохо. Я аж ужаснулся от такого результата.
Телескоп-)
А какой конкретно у тебя компьютер? "не быстрый, не самый мощный"
LM Studia делает упор в память видеокарты, у меня rtx 2080 8gb
Какая видеокарта стоит?
Судя по тому, с какой скоростью это работает, по ходу не менее 4х штук 4090 или здесь кто-то что-то не договаривает. Видел, как ворочается ChatGPT локально на хорошем железе, он с трудом слово из себя выдавить может.
rtx 2080 - 1 штука.
когда офлайн на компе, то это бешенная нагрузка много память и грамоздское . Зачем ,Если есть настольный Чат давно на ПК и телефон. А по API всеравно ни те ни те не работают бесплатно ,если поставить его кудато на сервер для автоматизации
работают по апи
было бы интересно обзор доступных сетей. какая лучше для писателя, какая для программиста, какая для изучения английского языка, есть ли модели для помощи художников? такой обзор был бы очень интересен.
Интересно. А вам лично для чего нужна нейросеть на пк? Какие задачи решаете?
@@donkartashov решаю задачки на js, а нейросети использую для проверки. она показывает несколько вариантов, я с интересом их изучаю, проверяю и узнаю что-то новое.
Не считается, потому что не поддерживается Mac Intel.
А эксперементальные версии тоже не работают? Там поддержка M1/2/3 lmstudio.ai/download
Я ни чего не должен 😂
Кстати, модель Квин, которая у тебя она гадость. Есть неплохие модели, реально годные, но в твоем списке установленных их не нет
Напиши список - дополним.
Делать этого он конечно не будет 😅
Было бы не плохо чтобы вы так же указывали минимальные требования к пк к программам подобного рода, обычно им там нужно от 16гб видеокарты - что может себе позволить далеко не каждый))
Она может работать без видеокарты.
Кто-нибудь встречал нейросети, способные писать стихи на русском?
Чтобы решать такие задачи, нужно давать нейросети пример, чтобы она могла брать его за основу.
Можешь ли ты взять стих как пример и на его основе придумать новый? Но более весёлый и позитивный, расскажи про то как классно что в жизни у людей появились нейросети, они облегчают задачи и всячески помогают людям
===
Я помню день, когда впервые
Мне нейросеть дала ответ,
И в мире стала жизнь счастливей,
Как в тот момент - чудесней нет!
Она задачи все решает,
Подскажет путь, поднимет дух,
И вдохновеньем наполняет,
Как верный, добрый в жизни друг.
Ушла тревога и усталость,
Работа в радость мне теперь.
С ней исчезает всюду малость,
Открыты знаний сотни дверь.
И будущее вижу ясно -
Нас ждет успех, прогресса свет.
Нейросети - чудо прекрасно,
Подарок века - их совет.
Они нам пишут и рисуют,
Готовят планы и мечты,
Ведь с ними легче и свободней,
Как крылья в жизни обрести!
claude но очень плохо. Подходит для создания основы
gemini-1.5-pro-wxp-0827
@@donkartashov
Запомнил я, как в первый раз
Мне нейросеть дала ответ,
И мир вокруг, как дивный сказ,
Засиял счастьем, краше нет.
Она, как друг сердечный мой,
В делах поможет и в пути,
И дух поднимет, и покой,
И вдохновенья даст найти.
Усталость прочь, тревога - вон,
Работа - радость, не печаль,
И мелочность, как злой был сон,
Растаяла, открылась даль.
Я вижу ясно - впереди
Прогресса свет, успех большой,
Нейросети, вы - дар судьбы,
Ваш мудрый голос нам - герой!
И пишут нам, и нам рисуют,
И планы строят, и мечты,
Свободней стало, легче, чую,
Как будто крылья обрели.
Claude и gut 4o не плохо пишет. Главное стиль задать, например есенин, Пушкин и т.д
Зачем дергать мышкой, как эпилeптик? 👀
Думал, что подчёркиваю таким образом нужный "блок" на картинке). Гляну чем можно выделять блоки не дёргая мышкой.
@@donkartashov можно заранее продумать последовательность нажатий. Сделать курсор побольше и двигать плавнее. Клики можно выделять анимацией (расплывающимися зелеными кружочками, например)
Дело в том, что зритель рефлекторно следит взглядом за единственным движущимся объектом на экране и из-за быстрых и дёрганных движений объекта, через короткое время начинает уставать.
А сам контент, безусловно топовый! 👍
@@donkartashov ну и еще одно замечание, если можно 🙏🏼:
Текст лучше написать заранее и читать с другого экрана (ну, типа телетекст/суфлер). Чтобы не сбивать зрителя фразами:
- Ой! Это не то! Сейчас по-другому сделаю.
- Забыл как это называется… ну да ладно
И т.д.
Из плюсов (разбавлю пилюлю 😂) - грамотная речь, незамусоренная излишним сленгом (не путать с тех.терминологией, кривыми англицизмами и т.д.). За это прям ⭐️⭐️⭐️⭐️⭐️
Перед Вами начал смотреть канал «Продуктивный Совет» и больше 5 минут просто не выдержал. 🤦🏻
Знаю хти модели, тестил полгода назад. Эти модали до ужаса тупые. Так поиграться можно. Если сравнивать с gpt то это все равно что сравнивать свечение от спички и тысячи Солнц.
Согласен. Но лёгкие задачи они вполне сделают. Важно только следить за их "галюцинациями" и самому на всё писать инструкции.
Требования к железу. Хорошую LLM не получится запустить на слабом компьютере. Но, например, если у вас есть MacBook с чипом M1 и выше и хотя бы 16GB ОЗУ, то вам уже доступно множество моделей, качество которых будет сравнимо с ChatGPT 3.5 Turbo. Правда, это касается в основном запросов на английском языке, с русским языком Open Source работает хуже.
Именно так. Но для создания простеньких ассистентов, которые работают только с собственными материалами или по заранее заготовленным инструкциям с примерами - они вполне сносно работают. Ну вот к примеру, вам надо статью написать, если делать это самостоятельно - потратишь пару часов на поиск инфы, план статьи и т.д. А любая из локальных нейронок, даже самая урезанная с этой задачей справится за пару минут. Сушественно экономя личное время.
@@donkartashov а самый легкий ваш вариант на каком железе под статьи завелся ?
Так мак это слабый компьютер
4 ядра цпу, 12 г оперативы, 14 г гпу: не тянет даже самую слабую модель. а жаль
Что-то не так настроили, у меня 8гб гпу и всё работает очень шустро (на видео было видно). Какую модель использовали?
@@donkartashov Smollm 360m, пробовал поразному настроить, ничего не помогает
Попробуйте Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf - 4.8гб она должна прям летать у вас. А видеокарта не AMD случайно? Нейрости в этом плане основной упор делают на Nvidia / Cuda ядра.
@@donkartashov эту самой первой пробовал, такой же результат. Видеокарта скорее всего нвидео (на ноуте). Попробую еще на линуксе запустить
@@donkartashov на линуксе работает
Это хорошая удобная программа, жаль что она понимает только модели gguf. Иногда возникают проблемы с шаблонами (типа моделей Mistral) - лечится отключением какого-либо шаблона.
Есть же альтернативные варианты ollama к примеру
@@donkartashov Ollama только под Линкс. Есть text-generation-webui - он работает со всеми моделями, но там очень много параметров настройки, не всегда понятных. Но у меня почти все модели на нем запускаются на компе.
ollama.com/download/windows
@@dezmond8416 с чего вдруг она только под линукс под виндой нормально работает но это сервер с консольным интефейсом. к олламе надо еще веб сервер openwebui прикрутить тогда это мощнейшая штука получается с lm студией не сравнить по функционалу там тебе и распознавание изображений и общение голосом и работа с докуметами включая архивы докуметов с гигабайтами
Жаль что не умеют сохранять контекст и самообучаться.
Нет смысла их использовать, когда интернет есть всегда. Бесплатные сайты лучше всё же...
Лучше - с точки зрения скорости и качества - опделеённо да, но вы "сливаете" всю инфу какому то сайту.
Зачем это все когда есть copilot у которого есть доступ в интернет, есть ai studio от гугла там вообще можно загружать файлы и картинки и пользоваться бесплатно моделью у которой 2млн токенов окно. Зачем устанавливать на комп какие то урезанные модели которые ничего не могут.
Озвученные вами решения - требуют vpn, версия в видео - работает локально без интернета.
Оно небезопасно, тем более копилот занимается телеметрией и ее лучше сразу выпилить
@@donkartashov Есть хорошее расширение для браузеров называется VPN для TH-cam так и вводите в поисковике, это бесплатный впн. Для ютуба использую страну Германию видео не тормозит даже в 4к, для чатов Америку или Англию, пробуйте.
Вопрос из разряда: зачем нужны яблоки, если есть колбаса. Потребности у разных пользователей разные.
жаль на русском языке
Основной англ язык у всех моделей.
Очередной майнер ?
Скачал попробовал. Честно говоря все это лажа. Перевод плохой, искать информацию LLM в интернете не может. GPT, Gemini на порядок лучше. Для чего применять локально в таком виде не представляю.
Использовать на ПК офлайн ? .... для чего, для переводов ? есть S24Ultra где уже встроены локальные модели, переводчик работает без проблем. Для чего еще все это применять ?