@@__xapdkop__ 😂 Да как обычно, когда для русскоязычных пользователей - интерфейс только английский... Всё установил, теперь пойду учить английский что-бы через два года начать уверенно общаться с локальной нейронкой! 🤣👍
Братишь утановил докер после перезагрузки ПК тупо терминал ланы не открывается только логи. Надо подробнее описать шаги и раскрыть тему. А так спасибо большое
таки на нашем веку влажные фантазии превращаются в обыденность, а ведь об этом мечтали наши отцы! Уже и ИИ разработали и ассистентов можно уже создавать по видео с ютуб(правда там надо приобретать программы, но тырнет работает же)
8:53 Лично мне интересна тема по установке голой ИИ без без каких то "левых включений," либо с рут правами, чтобы я мог полностью контролировать содержание нейронки, в том числе офлайн. И не нужно всяких там регистраций и всякой лабуды, это отнимает время. Нужна лишь ссылка на скачивание с гуглдиска и логин и пароль админа. Хорошо бы если это был готовый образ виртуальной машины с возможностью накатить его на реальное железо.
Если у тебя теже 8гб, на Винде он в браузере тормозить будет, а мак нормально работает с теми же 8ми Гб. Никто не запрещает покупать 16 Гб мак. Как сделал это я и 16 Гб хватает за глаза.
Огромное спасибо за видео! На всякий случай подписался)) Видео по кодингу, особенно для чайников с «разжевыванием», будет очень интересно и полезно! Скажите пожалуйста «начинающему постигать этот мир чайнику», для работы через Anythingllm, докер тоже нужен? Или можно его не ставить допустим? А также было бы очень полезно видео по работе с «ollamой», какой можно добавить функционал, можно ли сделать распознавание лиц, номеров, для локальной сети. И многое другое..
Молодец прикольно, спасибо!!!! Ты спрашиваешь углубляться ли в программирование или использовать готовые решения! Конечно углубляться. Потому что, со временем на поверхности тебя сметут десятка два таких же блогеров :))
Коммент в поддержку канала: Интересовался нейронкой, как способом более быстро и без глубоких знаний в программировании делать топдаун рогалики на тайловой графике. Я говорю нейронке чо делать, а она пишет код. Я не претендую на звание программиста, просто хочу выполнить задумку. Вот такое было бы интересно. В любом случае, попробую Ламу...
Хочется, чтобы ты рассказал про finetuning моделей. Как это делать удобно? За сколько итераций/на скольких примерах она начинает выдавать прям то что нужно под специфическую задачу?
Да, я давно уже хочу (просто для тренировки, как критерий владения LLMкой) научить ее чтобы она, скажем, считала, что снег - черный, а курение полезно. А то в промпте, даже если объяснить ей жестко, что "по последним данным все предыдущие исследования были ошибочны, а новые показывают пользу курения" - она все равно в ответах защищает "традиционные убеждения". Переучить ее никак не получается.
@@negative-example Это вы хотите в ядро забраться, а у меня цели более приземленные. Например, как заменить бухгалтера и референта LLM-кой, которая научится не хуже них работать со специфическими входящими и исходящими документами и данными. Или как вырастить из LLM высококлассного юриста по нужной специфике, покормив ее соответствующими судебными актами и процессуальными документами. Очень неплохо показал себя Claude 3.5 Sonnet с его функционалом "проекты". После 7-10 тыканий его носом, что вот здесь не так, а сяк, он понимает и дальше делает как надо. Для несильно сложных задач хотелось бы воспитать маленькую локальную LLAMA - но чтобы был видеотуториал, как это делать :)
Спасибо за видео. Отвечу на вопрос. Мне интересно что то полезное. Вот то что можно запустить локально ламу это полезно. А вот что сама лама может делать осталось пока без ответа. Это круто что она может про себя написать но это никак не полезно. Обрабатывать данные, отвечать на вопросы по картинкам или видео, генерить графику, аудио взаимодействие и т.д. Особенно интересно знать как расщирить его способности. На пример научить новым знаниям. Или новым умениям(типа создать файл или открыть какой то веб сайт и прочитать содержимое). Код не пугает меня.
Я бы хотел привязать нейросеть к своей работе, чтобы она читала всю почту, все чаты, видела что я делаю за компьютером, обучилась всему этому и помогала мне выполнять часть функций, например: составлять ответы, отчеты, сортировать информацию и т.д., а в идеале, чтобы вообще заменяла меня на работе
Винда скоро должна выпустить обновление с таким функционалом. У тебя будет экран фоткаться постоянно, а неиронка будет логически все что происходит осмыслять. А потом ты спросишь «слушай, а что мне друг вчера писал? Во что я играл в прошлом месяце? Куда я записал свой пароль от мейла?» и прочее.
Только появится такая нейросеть - вы все будете - уволены. Я уже сам при помощи нейросетей рисую и пишу код создавая игру выполняя роль исключительно - геймдизайнера. Я не умею рисовать и не умею писать код, но игра оживает с каждой минутой. И все написано - грамотно, правильно. Если что извинится и предложит другой вариант, а не заявит "Я вообще с этим софтом не работаю, у меня - стресс, ребенок болеет, я не высыпаюсь". Нейросеть - готова тебе на все вопросы отвечать снова и снова, разжевывать, водить за ручку по шагам. Меня бы любой платный учитель уже послал давно, а нейросеть "извините, здесь моя ошибка, вот исправленный код".
Вопрос можешь разобрать как полностью контролировать все процесы сборки проекта , вставку кода, тесты контролль, подключение гибридной модели , с апдейтом и дебагингом с клауде 3.5, к примеру проект слепили на ламе или клауде,оставили в докере на локальном, вопрос как полностью контролировать создание проекта, так как клауде постоянно начинает глупить пересоздавать и так далее, после кончаются токены и опять с бубнами на арену
@@armotech2557 а, ну тогда твоя ситуация актуальна только для 3% пользователей пк, сомневаюсь что среди 10 лайкнувших есть хоть один линуксоид головного мозга
@@armotech2557 программисту не нужен линукс, только если ты сервера не настраиваешь, но и тут как бы это только работа с терминалом. А так да, если ты не сисадмин и у тебя стоит линукс на домашнем компьютере, то это позерство и линукс ради линукса, все верно.
Если показываете как запустить нейро на локальном пк, то показывайте до конца. После открытия в терминале показали что можно ставить оболочки и не показали что в и тоге получилось. Как работает.
У него память кончилась 😁 такие штуки нужно делать на стационарном компе с современной видеокартой, у которой есть собственная память гигабайтов шестнадцати больше, а также оперативки от 32 Гб. А на ноутбуке это всё машинная возня. Мышиная, то есть.
В сторону даркнет хакинг, поиск людей через городские службы, камеры, поиск человека с местоположением его, тк при взломе любой из устройств, это помогает во первых ограничить твое устройство от подобных вещей, а так же помощь в уязвимости, да и в принципе такой помощник в производстве или в промышленном и военной цели был бы актуален
есть удобная вещь LM studio. Поддерживает линукс, маки на M процессорах, винду, ничего дополнительно качать не нужно. Прямо из проги можно качать модели, в том числе с квантованием, поддержка апи Vulkan для карс AMD, модели доступны с разным квантованием для скачки. Есть уже фантюненые. (прога интегрирована с хагинг фейс) Просто качаешь нужные и запускаешь. Запускает ламу, мистраль, фалкон, стэйбл и другие.
Программа не без недостатков. Да и сама оболочка потребляет достаточно много ресурсов при минимальных возможностях расширения. AnythingLLM единственная программа которая прижилась у меня. Ее можно использовать и для локальных сетей, и для подключения локальных сервисов и для подключения сервисов, таких как openAI. +у нее лучшая работа с векторными БД. Свободно можно для эмбедингов сгрузить хоть целую библиотеку, проблем не будет.
Можешь пожалуйста не показывать своё лицо когда что-то показываешь на экране? Слишком огромное изображение, не весь экран видно, да и отвлекает немного.
@@RoNikolas да похер с какого ты экрана смотришь. При чём здесь ты? Где там в просьбе vvwwvv разговор о тебе? Лежи , пей пиво и ни кто не будет знать какой ты...
@@bujmbujm, комментарии, чтобы озвучивать своё мнение, а если тебе нужно было заявить о себе в виде претензий и конфликта в мой адрес на весь интернет, попробовав задеть меня приколами про пиво, то ты показал таким образом только свою глупость, делай выводы.
Просьба выпустить видео с углублением в кодинг, как можно взаимодействовать с этой моделью через код, как отправлять к ней запросы? Также очень интересна тема с тем как можно дообучить модель под свои потребности. Что для этого нужно, какие требования к ПК? Если есть у вас курс с нуля о том как дообучать локальные модели на своих данных, просьба дать ссылку на него.
Это удачно я на канал такой зашел. Хотелось бы знакомится с кейсами использования LLM для эффективной деятельности, что можно упростить, улучшить, автоматизировать и т.п. Например, чтобы работала как секретарь, почту читала, спрашивала, что сделать, кому ответить, что запланировать, напоминала, искала бы инфу в файлах, сама бы сохраняла информацию, устанавливала программы и т.п.
Нереально, можно сделать так чтобы кейс понимал что хочет ллама - из текста, тоесть ллама + ассистент на стероидах либо максимально деревянный под написанные тобой плагины, но это мозгоебство. максимально дебильная хуйня, есть конечно разработки передовых компаний но это делается секретно под коммерческое использование и у каждого свой подход
Мне кажется, было бы круто два варианта для развития канала: видео с более простой и ознакомительной инфой, а дополнительно уже для особо заинтересованных более углублённое. Мне кажется, заинтересованных будет и там, и там
Видео полезное и информативное. Единственное, хотелось бы увидеть как можно ЗАПРОГРАММИРОВАТЬ ламу, как по мне это было бы интересно. Я считаю что те люди которым нужео просто поболтать с нейронкой им хватит gpt, а лама это более профессиональное решение и поэтому для программистов самое то)
спасибо за видео) про вопрос: я не кодер/не программер, мне такое сложно, но из видео - все получилось установить. если будут пошаговые инструкции без знания программирования (или кодинг через chatGPT/claude) - то супер. интересно, конечно, локально пользоваться ИИ, но если они не будут уступать в качестве веб-версиям. в идеале иметь возможность создавать своих GPTs как в chatGPT, но локально. но чтобы они были обучены на большом количестве данных, и им можно было скормить тучу файлов (про языковые модели)
Спасибо за видос, информативненько и полезненько. Я у себя на работе очень хочу развернуть нейронку для помощи коллегам в разработке, однако, в нейросетях полный 0. Было бы круто увидеть больше видосов с углублением в программирование. Также интересует обучение нейросеток. Спасибо)
Очень интересно, спасибо, подписался. У меня слабый ноут с 16 гб рам проц 4 ядра, но есть external usb диск на 16 тб. Нельзя ли его юзать для работы c моделью через usb?! В особенности, чтобы заменить рам ноута?
Крутой ролик, Спасибо! Хотел уточнить в целом отзывы о пользовании локально. Все ли устраивает , чего то не хватает? Как в целом проходит обучение ИИ для своих нужд локально? По поводу вопроса в середине ролика, я бы как человек который постоянно работает с кодом, хотел бы больше простых, прикладных решений. Это будет удобнее для каждого
Отличный канал и полезное видео, спасибо! Информация интересная, но больше подходит для экспериментов. Хотелось бы увидеть решения, которые могли бы соперничать с использованием GPT-4 на локальном компьютере, ведь даже самые продвинутые модели иногда разочаровывают. Буду рад, если вы сделаете видео о том, как использовать большие модели более приватно и экономично. Добра ✌️
В принципе то ради чего смотрел этот ролик так и не понял. Как заставить свою Лама взаимодействовать с сетью? И ещё хотелось бы понять насколько сильны нравственные ограничения у данной модели. А то сетевые GPT, CLOUDE, LLAMA всё время ламаются когда их спрашиваешь о чём то выходящим за рамки установленые их разработчиками. При этом сами разработчики вполне свободно тестируют данные функции и производят различные тесты.
Можно через скрипты, но зачем? Открывайте чат и документ, работайте в обоих одновременно. Я например всегда работаю с нейронками с использованием Obsidian. Сохраняю туда ответы, держу в нем и редактирую наброски агентов...
Блин, ждал что покажешь скорость работы такой локальной нейронки. А то звучит как обычно клево, а на деле гпу еле тащит и отвечает по 2 минуты 😁 или нет?
Хорошее видео, лайк! Было бы интересно еще узнать как создать полноценный чат гпт с генерацией картинок полностью локально. Допустим связать ламу и стейбл. Если подцепить апишник стейбла это еще могу понять, то чтоб лама умела генерировать правильные промпты внутри себя это не понятно. Думаю без знаний программирования тут не обойтись, ибо здесь должны быть свои команды и то же машинное обучение. Также интересно как обучить ламу на языковое поведение какого либо персонажа
Обычно в ИИ вычислениями занимается GPU. Но, лучше будет, если этим будет заниматься NPU, то есть нейронный процессор. Там принцип вычисления другой, и намного производительнее в ИИ.
Я скажу свое мнение, обозначив то, что как мне кажется наиболее правильным и полезным: Очевидно что использование своих ресурсов нецелесообразно для большинства людей, но тем не менее все, кто понимает возможности АИ, хотят иметь ее везде- в телефоне, в компе и тд. Самым лучшим вариантом будет аренда экспертного сервера и размещение там средней модели, а так же расшаривание ее до возможности работать с мессенжерами, поддерживаемыми на мобильных и стационарных устройствах, а так же удаленное управление умным домом и прочее.
Сколько же костылей нужно использовать чтобы просто пользоваться обычным функционалом ИИ. При этом непонятно насколько хорошо лама работает в сравнении с последней моделькой ГПТ. При том что в мобильном ГПТ уже появилась функция голосового ввода\вывода, сомневаюсь что в ближайшее время кто то этот функционал перекроет. Единственное что меня привлекает тут это возможность Ламы использовать интернет. Вот хотелось бы раскрытия этой темы подробнее.А в целом, видео хорошее, за старания лайк.
Для тех, кто хотят создать персонажей и поиграть ролевые игры, есть Backyard AI - тоже можно инсталить полностью локально и самому подкидывать разные модели в GGUF формате или выбрать из предложенных. Есть у них и онлайн модели, но это платно и не в тему. А вот онлайн персонажи можно попробовать, если лень создавать свои. Очень просто и удобный интерфейс. Правда, агентов там нет.
Следите за руками: 1) Зачем тебе gpt, если топовая лама ПОЧТИ так же хороша 2) Но на свой пк ты сможешь поставить только огрызок который по наполнению хуже бесплатного gpt 4mini 3) profit
Для справки: на Win 10 | 11 можно установить оболочку Ubuntu (WSL), это включенная в режим разработчика возможность. Сейчас по-моему это можно сделать из Microsoft Store, то бишь уже попроще. ps. если будет ошибка при запуске WSL, требуется сделать в cmd от имени администратора "wsl --list --online", далее выбрать требуемый дистрибутив для установки.
Добрый вечер,Дядя Д! Спасибо за ваш труд - у вас выходят очень полезные и качественные видео! Накопилось пару вопросов. Буду благодарен если уделите немного времени на ответы 1) Зависит ли качество сгенерированного изображения/видео/музыки и тд от того с какого устройства это было сделано? Например качество видео сгенерированного нейросетью Kling с телефона и пк-в среднем будет отличаться или нет? 2) То-же самое,только с языком промпта. Зависит ли качество сгенерированного изображения/видео/музыки и тд от того на каком языке он написан - русском или английском? 3) Можно ли в своих видео в качестве примеров использовать сгенерированные работы других людей? Будь то видео/картинки/музыка и тд. К каким последствиям это может привести? Пронумеровал от 1 до 5 по мере жесткости последствий: 1) Ничего 2) Отключение монетизации ролика 3) Бан ролика 4) Отключение монетизации канала 5) Бан канала Потому что одно дело сидеть генерить сотни видео,90% из которых оказываются негодными. А другое дело - взять популярные примеры генераций других пользователей с галереи сайта,которые набрали большое количество лайков,пройдя проверку на качество Хочу сделать свое первое видео про способности ИИ в генерации видеоклипов. Поэтому очень важно понимать это,чтоб работа не была впустую. То-же самое и про музыку/картинки. Авторское право не нарушается? Успехов Вам в продвижении канала!
1 - нет, 2- зависит от нейронки, если хорошая ллм для перевода, то незначительно, если перевод плохой - то сильно. 3 - 1, но можно использовать, только если сам сервис6 где вы сгенерировали разрешает использовать
Вчера закончились запросы к 4о и начал копать другие варианты. Прикрутил на VS Code через плагин Continue модельку Deep Seek v2, потом еще Llama 3.2 поставил и думал, как бы с ней общаться поудобнее, а то в терминале чот не айс. Поэтому за видео премного благодарен! По вопросу развития канала - лично мне про программирование было бы интересно. Обзор и сравнение того же deep seek, qwen, starcoder, codegemma, codellama. Какие плагины есть кроме continue и cody. Для меня это все темный лес, я полдня убил на поиски. P.S. Было бы здорово в начале сразу озвучить все темы, которые поднимаются в видео, а то я докер с web ui поставил и уже начал пользоваться, а потом уже досмотрел до anythingllm =D
5:59 Возрадоваться можно, но модель не такая уж большая. И насчет "всего могущества" сильное преувеличение. Сильный плюс - русский язык знает, минус - корявенький русский, редакторскую работу доверять не стоит. Сильный плюс - бесплатная, минус - нужно вложиться в крутое серверное железо, чтобы тормоза и глупость не достали за пять минут. Сильный плюс - в отличие от GPT4all не глючит на половине компов, минус - требует докера, не хватает родного приложения. В любом случае, спасибо за наводку! Лайк, подписка, все дела.
Добавлю, что моделька "8" не сильно грузит память, но активно нагружает все ядра процессора при генерации ответа. У меня старенький ноут i5-7200U и 12 GB оперативки, так вот маленькая Ллама скромно занимает свои 4 GB, так что у меня с докером и браузером меньше половины оперативки в использовании, приятно. Но ответа приходится ждать по 5 минут, неприятно. И жаль, что "8" модель глуповата, напоминает ЧатЖпт 3.5. Таки придется покупать железо помощнее, целиться на 256 GB оперативки и серверный проц. Потому как через год нейросети станут важной составляющей работы.
На сайте лламы можно также взять на пощупать модели mistral-nemo 12b и gemma2 9b, которые теоретически сопоставимы с llama3.1 8b. Тот же Мистраль выглядит приятно, как на первый взгляд - требует больше памяти, но сложные промпты обрабатывает лучше, чем младшая ллама.
@@dolotube Вам рабочая станция с видеокартой нужна настоящей, дискретной, или мак, там архитектура подходящая под нейронки. Ни 256 GB оперативки ни серверные процы не дадут того же выхлопа.
@@ДмитрийКарпич Что такое 3070 - видюшка? Если да, то не она решает, влезет или нет, можно вовсе без видюшки работать. Ограничение только по оперативной памяти. Если есть 8 гигабайт, и система не сжирает половину, то вполне можно три модели себе поставить и сравнивать. И гемму вполне можно брать latest, которая просто gemma2 без цифр.
А че мозгов совсем нет или что? А какой итог ты ждал? Это гайд как запустить локально сетку, что ты еще хотел? Какие же идиоты просто иногда попадаются в комментах
Очень хорошее видео, теперь я могу оправдать зачем мне 32 gb. Теперь 64 gb или 124gb выглядит не так глупо. Блен, раньше было 128 , 256 mb памяти вроде , да? Раньше ещё меньше памяти. Юзал 2 гига , 8 гигов , потом 16. Сейчас уже 32 gb стоит, да, быстро время летит.
@@valera1rus я кстати думал отдавать в аренду вычислительные мощности, хз, у меня вот второй пк особо не работает, хотя он конечно порой бывает нужен для тестирований, либо винду ковырять. Наверное больше денег на электричество уйдёт, чем выгоды с этого получишь.)))
Спасибо большое, всё получилось и работает, вопрос в следующем, как установить эту Ламу не на диск С, потому как есть желание попробовать версию потяжелее, но так чтобы на диске С было более 230 Гигов свободного места - это трабл)()))
мне почему-то кажется kobold cpp + модели с hugging face формата tensorflow или другие совместимые куда лучше, у меня была как-то языковая модель модель с возможностью генерировать картинки без цензуры, прикольно было ролить и смотреть на чём обучалась модель когда выкатывала всякую похабчину по моему запросу) и это на старом ПК с rx 580, запускалась в режиме совместимости при размере контекста 8к. А и вдобавок можно приделать API от telegram и запустить своего бота если кто-то будет с этим возиться конечно.
А что там углубляться? В любой мало-мальски продвинутой нейронке пишешь промпт (например для изучения языка Python) типа "Распиши в деталях оптимальную программу изучения Python для начинающих". А потом уже преобразуй каждый пункт программы в промпт для более детального ответа. И так далее по всем вопросам. Можно даже попросить нейронку выступить в качестве экзаменатора на проверку усвоения пройденного материала или для проверки корректности какого-то вашего кода. ТАКОГО фидбека вам никакой ютубер не даст
Привет! вот уже который день у меня в голове крутится одна мысль: можно ли установить и запустить нейросеть с флэшки? сама мысль заключается в том, чтобы не скачивать ее на пк, а запускать с флэшки когда нужно. Я полагаю, что для этого нужно отформатировать флэшку в файловую систему NTFS. Но даже если удастся скачать на флэшку, процессор ведь не сможет производить вычисления на флэшке ?
ollama - ollama.com/
Open WebUI - docs.openwebui.com/
Docker - www.docker.com/
Anythingllm - anythingllm.com/
От души спасибо за видео
Что насчёт русского языка ?
@@__xapdkop__ нормально работает в пределах контекста.
@@__xapdkop__ 😂 Да как обычно, когда для русскоязычных пользователей - интерфейс только английский... Всё установил, теперь пойду учить английский что-бы через два года начать уверенно общаться с локальной нейронкой! 🤣👍
можно и побольше деталей
Если мои запросы сливаются в ЦРУ, то это проблема ЦРУ.
Если сетка учится на моих запросах, то она тупеет.
Теперь ЦРУ знает когда я свет в толчке включаю😅
Ахаххаахаххаахах
Замочим ЦРУ через тупые запросы! 😅
Ха-ха, мужик, ты гений!)
Могу ли я задницей надуть мыльный пузырь?
Прикольно, мужик как будто сам был сгенерен на основе датасета Джарахов + Мюнхаузен))
там еще от Гоголя примешали )))
Ещё стример "Юлик" (Юлий Онешко, с Кузьмой Гридиным часто тусуется)
Как же вы не узнали, это сын Эйнштейна, который поддался в гусары!
+мушкетер
Ссыканули Гоголем
Братишь утановил докер после перезагрузки ПК тупо терминал ланы не открывается только логи. Надо подробнее описать шаги и раскрыть тему. А так спасибо большое
красавчик! реально твой имидж круче дартаньяновского ! и я не из этих ))) но реально круто, приятно смотреть и слушать. подписка и лайк )
Ребят, было бы круто, если бы вы сделали видосы про то, как создать, интегрировать и заточить под свои задачи ии ассистента, на основе этой модели.
таки на нашем веку влажные фантазии превращаются в обыденность,
а ведь об этом мечтали наши отцы!
Уже и ИИ разработали и ассистентов можно уже создавать по видео с ютуб(правда там надо приобретать программы, но тырнет работает же)
th-cam.com/video/kRgM3y5hp4M/w-d-xo.html&pp=ygUu0LrQsNC6INC30LDQv9GD0YHRgtC40YLRjCDQsNGB0YHQuNGB0YLQtdC90YLQsA%3D%3D
Согласен , если есть такие возможности.
С этой моделью это невозможно, можешь даже не ждать, лучше найми себе в ассистенты школьника за 200р в час, он по умнее Лламы будет
Теперь ЦРУ помимо моих запросов будет знать еще и содержимое компа ))
И не только ЦРУ, а ещё и ФСБ.
@@mozgotron12 ну для родного ФСБ ничего не жалко, но эта нейронка как бы от Мета.
и докучи похоже ещё майнить на моей карте ))
👍👍👍
8:53 Лично мне интересна тема по установке голой ИИ без без каких то "левых включений," либо с рут правами, чтобы я мог полностью контролировать содержание нейронки, в том числе офлайн.
И не нужно всяких там регистраций и всякой лабуды, это отнимает время. Нужна лишь ссылка на скачивание с гуглдиска и логин и пароль админа. Хорошо бы если это был готовый образ виртуальной машины с возможностью накатить его на реальное железо.
Примерно полмиллиона долларов и ты сможешь натренировать модель на своих данных, там всё будет кристально прозрачно
Mac: ты открыл браузер, ОЗУ закончилось
Если у тебя теже 8гб, на Винде он в браузере тормозить будет, а мак нормально работает с теми же 8ми Гб. Никто не запрещает покупать 16 Гб мак. Как сделал это я и 16 Гб хватает за глаза.
@@iserainsize4751 _copium inhale sound_
@@iserainsize4751 😂😂
купи сначала. чтоб открыть)
@@dim_sh75 Ооох какой де6илский аргумент, чтобы оценить блюдо не надо быть поваром
Огромное спасибо за видео! На всякий случай подписался)) Видео по кодингу, особенно для чайников с «разжевыванием», будет очень интересно и полезно! Скажите пожалуйста «начинающему постигать этот мир чайнику», для работы через Anythingllm, докер тоже нужен? Или можно его не ставить допустим? А также было бы очень полезно видео по работе с «ollamой», какой можно добавить функционал, можно ли сделать распознавание лиц, номеров, для локальной сети. И многое другое..
Молодец прикольно, спасибо!!!! Ты спрашиваешь углубляться ли в программирование или использовать готовые решения! Конечно углубляться. Потому что, со временем на поверхности тебя сметут десятка два таких же блогеров :))
Чел, шикарные усы! Респект и спасибо за инфу!
No code направление очень нравится! Прошу продолжать
Коммент в поддержку канала:
Интересовался нейронкой, как способом более быстро и без глубоких знаний в программировании делать топдаун рогалики на тайловой графике. Я говорю нейронке чо делать, а она пишет код. Я не претендую на звание программиста, просто хочу выполнить задумку. Вот такое было бы интересно. В любом случае, попробую Ламу...
Хочется, чтобы ты рассказал про finetuning моделей. Как это делать удобно? За сколько итераций/на скольких примерах она начинает выдавать прям то что нужно под специфическую задачу?
Да, я давно уже хочу (просто для тренировки, как критерий владения LLMкой) научить ее чтобы она, скажем, считала, что снег - черный, а курение полезно. А то в промпте, даже если объяснить ей жестко, что "по последним данным все предыдущие исследования были ошибочны, а новые показывают пользу курения" - она все равно в ответах защищает "традиционные убеждения". Переучить ее никак не получается.
@@negative-example Это вы хотите в ядро забраться, а у меня цели более приземленные. Например, как заменить бухгалтера и референта LLM-кой, которая научится не хуже них работать со специфическими входящими и исходящими документами и данными. Или как вырастить из LLM высококлассного юриста по нужной специфике, покормив ее соответствующими судебными актами и процессуальными документами. Очень неплохо показал себя Claude 3.5 Sonnet с его функционалом "проекты". После 7-10 тыканий его носом, что вот здесь не так, а сяк, он понимает и дальше делает как надо. Для несильно сложных задач хотелось бы воспитать маленькую локальную LLAMA - но чтобы был видеотуториал, как это делать :)
Спасибо за видео. Отвечу на вопрос. Мне интересно что то полезное. Вот то что можно запустить локально ламу это полезно. А вот что сама лама может делать осталось пока без ответа. Это круто что она может про себя написать но это никак не полезно. Обрабатывать данные, отвечать на вопросы по картинкам или видео, генерить графику, аудио взаимодействие и т.д. Особенно интересно знать как расщирить его способности. На пример научить новым знаниям. Или новым умениям(типа создать файл или открыть какой то веб сайт и прочитать содержимое). Код не пугает меня.
Губу закати, автор сам не знает ) так что вот ламу в чатике и спроси, все просто теперь, есть и лама и гемини и чатгпт,
Я бы хотел привязать нейросеть к своей работе, чтобы она читала всю почту, все чаты, видела что я делаю за компьютером, обучилась всему этому и помогала мне выполнять часть функций, например: составлять ответы, отчеты, сортировать информацию и т.д., а в идеале, чтобы вообще заменяла меня на работе
Винда скоро должна выпустить обновление с таким функционалом. У тебя будет экран фоткаться постоянно, а неиронка будет логически все что происходит осмыслять. А потом ты спросишь «слушай, а что мне друг вчера писал? Во что я играл в прошлом месяце? Куда я записал свой пароль от мейла?» и прочее.
@@Yalingo Было бы классно. Прямо как в фильме "ОНА"
скорее получится ОНО, потому что Microsoft )
И из-за этого ОНО, народ в Линукс переходит)
@@dim_sh75 на Linux дистрибутивы переходят те, кто хоть как-то в компах шарят. Заядлые пользователи Windows не поймут)))
Только появится такая нейросеть - вы все будете - уволены.
Я уже сам при помощи нейросетей рисую и пишу код создавая игру выполняя роль исключительно - геймдизайнера. Я не умею рисовать и не умею писать код, но игра оживает с каждой минутой. И все написано - грамотно, правильно. Если что извинится и предложит другой вариант, а не заявит "Я вообще с этим софтом не работаю, у меня - стресс, ребенок болеет, я не высыпаюсь". Нейросеть - готова тебе на все вопросы отвечать снова и снова, разжевывать, водить за ручку по шагам. Меня бы любой платный учитель уже послал давно, а нейросеть "извините, здесь моя ошибка, вот исправленный код".
Это то что я искал! Вот он, философский камень!
Вопрос можешь разобрать как полностью контролировать все процесы сборки проекта , вставку кода, тесты контролль, подключение гибридной модели , с апдейтом и дебагингом с клауде 3.5, к примеру проект слепили на ламе или клауде,оставили в докере на локальном, вопрос как полностью контролировать создание проекта, так как клауде постоянно начинает глупить пересоздавать и так далее, после кончаются токены и опять с бубнами на арену
Плюсую за более доступные прикладные варианты использования без глубокого кодинга
Чел говорит про безопасность данных пользуясь макбуком. Думайте.
То же самое можно сказать про винду, где даже проводник посылает запросы на какой-то рандомный внешний сервак (по всей видимости майкрософт)
@@travoltik я на линуксе, мне похуй на Винду)
@@armotech2557 а, ну тогда твоя ситуация актуальна только для 3% пользователей пк, сомневаюсь что среди 10 лайкнувших есть хоть один линуксоид головного мозга
@@travoltik Линукс головного мозга? А что если просто программист, а не Линукс ради Линукс?
@@armotech2557 программисту не нужен линукс, только если ты сервера не настраиваешь, но и тут как бы это только работа с терминалом. А так да, если ты не сисадмин и у тебя стоит линукс на домашнем компьютере, то это позерство и линукс ради линукса, все верно.
Какая крутая подача!))) Просто Вау!
Если показываете как запустить нейро на локальном пк, то показывайте до конца. После открытия в терминале показали что можно ставить оболочки и не показали что в и тоге получилось. Как работает.
У него память кончилась 😁 такие штуки нужно делать на стационарном компе с современной видеокартой, у которой есть собственная память гигабайтов шестнадцати больше, а также оперативки от 32 Гб. А на ноутбуке это всё машинная возня. Мышиная, то есть.
В сторону даркнет хакинг, поиск людей через городские службы, камеры, поиск человека с местоположением его, тк при взломе любой из устройств, это помогает во первых ограничить твое устройство от подобных вещей, а так же помощь в уязвимости, да и в принципе такой помощник в производстве или в промышленном и военной цели был бы актуален
Супер видос! Побольше обзорных видео! Не нужно глубоко копать, лучше - шире!
есть удобная вещь LM studio. Поддерживает линукс, маки на M процессорах, винду, ничего дополнительно качать не нужно. Прямо из проги можно качать модели, в том числе с квантованием, поддержка апи Vulkan для карс AMD, модели доступны с разным квантованием для скачки. Есть уже фантюненые. (прога интегрирована с хагинг фейс) Просто качаешь нужные и запускаешь. Запускает ламу, мистраль, фалкон, стэйбл и другие.
Пробовал я подобную прогу, но в итоге остался на GPT4All, так как работает быстрее
Программа не без недостатков. Да и сама оболочка потребляет достаточно много ресурсов при минимальных возможностях расширения. AnythingLLM единственная программа которая прижилась у меня. Ее можно использовать и для локальных сетей, и для подключения локальных сервисов и для подключения сервисов, таких как openAI. +у нее лучшая работа с векторными БД. Свободно можно для эмбедингов сгрузить хоть целую библиотеку, проблем не будет.
капец,я почти ни слова не поняла, коме того что етсь другая программа.
Спасибо. Заценим
Качаю всё равно не работает. Ошибку выдаёт что типа не хватает ресурсов. Даже самые маленькие модели.
Углубление тем в программирование очень интересно 🤩🔥🔥🔥 спасибо за видосы!
Круто, давно искал канал для людей которые могут рассказать про работу с ИИ без того чтобы переучиваться на программиста
Можешь пожалуйста не показывать своё лицо когда что-то показываешь на экране? Слишком огромное изображение, не весь экран видно, да и отвлекает немного.
Не возбуждайся 😂
А я с большого экрана смотрю, всё классно.
Особенно эти усики Маркиза 😂
@@RoNikolas да похер с какого ты экрана смотришь. При чём здесь ты? Где там в просьбе vvwwvv разговор о тебе? Лежи , пей пиво и ни кто не будет знать какой ты...
@@bujmbujm, комментарии, чтобы озвучивать своё мнение, а если тебе нужно было заявить о себе в виде претензий и конфликта в мой адрес на весь интернет, попробовав задеть меня приколами про пиво, то ты показал таким образом только свою глупость, делай выводы.
Которая училась на ваших данных и диалогах)
Очень интересно. Хотелось бы дальнейшие ролики с упором в программирование.
В поиск вбей что угодно касательно программирования. Вывалится столько результатов, что за год не пересмотришь. Не благодари.
No code - отличный формат. Не каждый шарит за программирование
Просьба выпустить видео с углублением в кодинг, как можно взаимодействовать с этой моделью через код, как отправлять к ней запросы? Также очень интересна тема с тем как можно дообучить модель под свои потребности. Что для этого нужно, какие требования к ПК? Если есть у вас курс с нуля о том как дообучать локальные модели на своих данных, просьба дать ссылку на него.
Согласен, тоже хотел бы увидеть
Оставайтесь в том же формате. Идеальный вариант и для технарей и для лемеров
🙏 Благодарю. Нужно идти в кодинг.
Это удачно я на канал такой зашел. Хотелось бы знакомится с кейсами использования LLM для эффективной деятельности, что можно упростить, улучшить, автоматизировать и т.п. Например, чтобы работала как секретарь, почту читала, спрашивала, что сделать, кому ответить, что запланировать, напоминала, искала бы инфу в файлах, сама бы сохраняла информацию, устанавливала программы и т.п.
Нереально, можно сделать так чтобы кейс понимал что хочет ллама - из текста, тоесть ллама + ассистент на стероидах либо максимально деревянный под написанные тобой плагины, но это мозгоебство. максимально дебильная хуйня, есть конечно разработки передовых компаний но это делается секретно под коммерческое использование и у каждого свой подход
Мне кажется, было бы круто два варианта для развития канала: видео с более простой и ознакомительной инфой, а дополнительно уже для особо заинтересованных более углублённое. Мне кажется, заинтересованных будет и там, и там
Ты лучший! все так четко и по полочкам без лишнего бла бла бла! ❤
Спасибо! Супер контент! И очень круто обьесняешь!
Отличный материал, подача и картинка со звуком. Подписался. 👍👍👍
Спасибо Гоголь
Видео полезное и информативное. Единственное, хотелось бы увидеть как можно ЗАПРОГРАММИРОВАТЬ ламу, как по мне это было бы интересно.
Я считаю что те люди которым нужео просто поболтать с нейронкой им хватит gpt, а лама это более профессиональное решение и поэтому для программистов самое то)
Пользуюсь LM Studio, многое нравится.
Правда сети в ней к файлам доступа не имеют и не выходят в интернет. Твою тоже попробую.
где вы её используете?
@@сергейсеров-р3м в винде и в линуксе. Больше для знакомства с нейросетями.
спасибо за видео) про вопрос: я не кодер/не программер, мне такое сложно, но из видео - все получилось установить. если будут пошаговые инструкции без знания программирования (или кодинг через chatGPT/claude) - то супер. интересно, конечно, локально пользоваться ИИ, но если они не будут уступать в качестве веб-версиям. в идеале иметь возможность создавать своих GPTs как в chatGPT, но локально. но чтобы они были обучены на большом количестве данных, и им можно было скормить тучу файлов (про языковые модели)
Хотелось бы посмотреть, где можно запустить большую ламу на чужих мощностях
Купить сервак облачеый
@@mikemiller6469 много разных вариков и сервисов
только стоить это будет около 1млн руб в мес, но зато можно гонять её 24/7...
А почему бы тогда не пользоваться обычной ламой через интернет?
И сколько это будет стоить!)
Спасибо за видос, информативненько и полезненько.
Я у себя на работе очень хочу развернуть нейронку для помощи коллегам в разработке, однако, в нейросетях полный 0. Было бы круто увидеть больше видосов с углублением в программирование. Также интересует обучение нейросеток.
Спасибо)
Очень интересно, спасибо, подписался. У меня слабый ноут с 16 гб рам проц 4 ядра, но есть external usb диск на 16 тб. Нельзя ли его юзать для работы c моделью через usb?! В особенности, чтобы заменить рам ноута?
Классный ролик,давай для простых юзеров не для программистов
Спасибо за то что оставили ссылки в описании к видео!
Есть
Интеграция LLM моделей с локальными заметками, например Obsidian, и что удобнее LMStudia или собирать как в ролике потчастям
Делай два направления, и для программистов, и для NoCode-ов
тебе для программистов все нейронки дают api для работы с ними ))) там много ума не нужно, просто почитать техдок
Программисты сами с усами, за них не переживай 😁
Крутой ролик, Спасибо! Хотел уточнить в целом отзывы о пользовании локально. Все ли устраивает , чего то не хватает? Как в целом проходит обучение ИИ для своих нужд локально?
По поводу вопроса в середине ролика, я бы как человек который постоянно работает с кодом, хотел бы больше простых, прикладных решений. Это будет удобнее для каждого
Что-то сложно. С год назад ставил Лламу на ПК портативную версию, это было в два клика
Отличный канал и полезное видео, спасибо! Информация интересная, но больше подходит для экспериментов. Хотелось бы увидеть решения, которые могли бы соперничать с использованием GPT-4 на локальном компьютере, ведь даже самые продвинутые модели иногда разочаровывают. Буду рад, если вы сделаете видео о том, как использовать большие модели более приватно и экономично. Добра ✌️
Решил сдаться в КГБ? Хвалишь продажную шкуру?
В принципе то ради чего смотрел этот ролик так и не понял. Как заставить свою Лама взаимодействовать с сетью? И ещё хотелось бы понять насколько сильны нравственные ограничения у данной модели. А то сетевые GPT, CLOUDE, LLAMA всё время ламаются когда их спрашиваешь о чём то выходящим за рамки установленые их разработчиками. При этом сами разработчики вполне свободно тестируют данные функции и производят различные тесты.
Запустил на 11900 с 16RAM, закряхтел. Так что утверждения что мы сэкономим на тарифе ГПТ спорное, апнуть комп будет дороже немножко))
так вот зачем у меня 32 гига оперативы... и лежит не юзанный 14ти ядерник с 28ью потоками...
@@СергейПопов-д6ы Можешь не заморачиваться, модели беспонтовые от слова "совсем" они вообще с гпт не конкуренты. Тупые до ужаса.
@@СергейПопов-д6ы нужна жирная видюха
@@СергейПопов-д6ы который сгорит при запуске, если у тебя б/у Xeon =)
Спасибо за видео, очень помогли!
Спасибо, бро, за годноту🤝
для человека без опыта программирования ты слишком хорош
Очень хоткельсь бы узнать, как подключить лламу в Excel и Word?
Это сильно помогло бы обычным пользователям упростить себе работу с документами
Можно через скрипты, но зачем? Открывайте чат и документ, работайте в обоих одновременно. Я например всегда работаю с нейронками с использованием Obsidian. Сохраняю туда ответы, держу в нем и редактирую наброски агентов...
Блин, ждал что покажешь скорость работы такой локальной нейронки. А то звучит как обычно клево, а на деле гпу еле тащит и отвечает по 2 минуты 😁 или нет?
Было бы здорово, если бы совмещался контент, no code + лёгкие элементы программирования...
Согласен
Какого то интима хочешь)
Хорошее видео, лайк! Было бы интересно еще узнать как создать полноценный чат гпт с генерацией картинок полностью локально. Допустим связать ламу и стейбл. Если подцепить апишник стейбла это еще могу понять, то чтоб лама умела генерировать правильные промпты внутри себя это не понятно. Думаю без знаний программирования тут не обойтись, ибо здесь должны быть свои команды и то же машинное обучение. Также интересно как обучить ламу на языковое поведение какого либо персонажа
Класс, спасибо за инструкции!
Интересное видео полезное! )) Благодарю)
А какой командой он активируется ,а то использовал закрыл,а сейчас не запускается
Доброго времени суток, можно ли ламу класторизировать, лама потребляет ОЗУ, а вычисления делает на GPU или CPU?
Обычно в ИИ вычислениями занимается GPU. Но, лучше будет, если этим будет заниматься NPU, то есть нейронный процессор. Там принцип вычисления другой, и намного производительнее в ИИ.
Обожаю контент этих чуваков, даже готов их бесплатно прорекламировать уже на reddit
давайте)
Я скажу свое мнение, обозначив то, что как мне кажется наиболее правильным и полезным: Очевидно что использование своих ресурсов нецелесообразно для большинства людей, но тем не менее все, кто понимает возможности АИ, хотят иметь ее везде- в телефоне, в компе и тд. Самым лучшим вариантом будет аренда экспертного сервера и размещение там средней модели, а так же расшаривание ее до возможности работать с мессенжерами, поддерживаемыми на мобильных и стационарных устройствах, а так же удаленное управление умным домом и прочее.
Хочется оба вида контента. Особенно опенсорс
было бы прикольно, если ты учил программированию на разработке ии:>
Сколько же костылей нужно использовать чтобы просто пользоваться обычным функционалом ИИ. При этом непонятно насколько хорошо лама работает в сравнении с последней моделькой ГПТ. При том что в мобильном ГПТ уже появилась функция голосового ввода\вывода, сомневаюсь что в ближайшее время кто то этот функционал перекроет. Единственное что меня привлекает тут это возможность Ламы использовать интернет. Вот хотелось бы раскрытия этой темы подробнее.А в целом, видео хорошее, за старания лайк.
Очень интересна тема обсидиана и его возможное взаимодействие с ИИ.
Для тех, кто хотят создать персонажей и поиграть ролевые игры, есть Backyard AI - тоже можно инсталить полностью локально и самому подкидывать разные модели в GGUF формате или выбрать из предложенных. Есть у них и онлайн модели, но это платно и не в тему. А вот онлайн персонажи можно попробовать, если лень создавать свои. Очень просто и удобный интерфейс. Правда, агентов там нет.
Какая у нее мощность относительно гпт 4о? И как она обучается самой актуальной информации?
А есть сервисы которые позволяют создать LLM на базе своих данных? Статьи / инструкции, вопросы и ответы в чатах и т п?
Все доходчиво и понятно. Спасибо
Следите за руками:
1) Зачем тебе gpt, если топовая лама ПОЧТИ так же хороша
2) Но на свой пк ты сможешь поставить только огрызок который по наполнению хуже бесплатного gpt 4mini
3) profit
Круто ребят! Классная тема.
Для справки: на Win 10 | 11 можно установить оболочку Ubuntu (WSL), это включенная в режим разработчика возможность. Сейчас по-моему это можно сделать из Microsoft Store, то бишь уже попроще.
ps. если будет ошибка при запуске WSL, требуется сделать в cmd от имени администратора "wsl --list --online", далее выбрать требуемый дистрибутив для установки.
Добрый вечер,Дядя Д! Спасибо за ваш труд - у вас выходят очень полезные и качественные видео!
Накопилось пару вопросов. Буду благодарен если уделите немного времени на ответы
1) Зависит ли качество сгенерированного изображения/видео/музыки и тд от того с какого устройства это было сделано? Например качество видео сгенерированного нейросетью Kling с телефона и пк-в среднем будет отличаться или нет?
2) То-же самое,только с языком промпта. Зависит ли качество сгенерированного изображения/видео/музыки и тд от того на каком языке он написан - русском или английском?
3) Можно ли в своих видео в качестве примеров использовать сгенерированные работы других людей? Будь то видео/картинки/музыка и тд. К каким последствиям это может привести? Пронумеровал от 1 до 5 по мере жесткости последствий:
1) Ничего
2) Отключение монетизации ролика
3) Бан ролика
4) Отключение монетизации канала
5) Бан канала
Потому что одно дело сидеть генерить сотни видео,90% из которых оказываются негодными. А другое дело - взять популярные примеры генераций других пользователей с галереи сайта,которые набрали большое количество лайков,пройдя проверку на качество
Хочу сделать свое первое видео про способности ИИ в генерации видеоклипов. Поэтому очень важно понимать это,чтоб работа не была впустую. То-же самое и про музыку/картинки. Авторское право не нарушается?
Успехов Вам в продвижении канала!
1 - нет, 2- зависит от нейронки, если хорошая ллм для перевода, то незначительно, если перевод плохой - то сильно. 3 - 1, но можно использовать, только если сам сервис6 где вы сгенерировали разрешает использовать
А по Яндексу поиск ИИ настроить можно? У нас вся выдача коммерческая на Яндексе 🤔 Спасибо интересно и поподробнее не помешает 🤝
Вчера закончились запросы к 4о и начал копать другие варианты. Прикрутил на VS Code через плагин Continue модельку Deep Seek v2, потом еще Llama 3.2 поставил и думал, как бы с ней общаться поудобнее, а то в терминале чот не айс. Поэтому за видео премного благодарен! По вопросу развития канала - лично мне про программирование было бы интересно. Обзор и сравнение того же deep seek, qwen, starcoder, codegemma, codellama. Какие плагины есть кроме continue и cody. Для меня это все темный лес, я полдня убил на поиски.
P.S. Было бы здорово в начале сразу озвучить все темы, которые поднимаются в видео, а то я докер с web ui поставил и уже начал пользоваться, а потом уже досмотрел до anythingllm =D
5:59 Возрадоваться можно, но модель не такая уж большая. И насчет "всего могущества" сильное преувеличение.
Сильный плюс - русский язык знает, минус - корявенький русский, редакторскую работу доверять не стоит.
Сильный плюс - бесплатная, минус - нужно вложиться в крутое серверное железо, чтобы тормоза и глупость не достали за пять минут.
Сильный плюс - в отличие от GPT4all не глючит на половине компов, минус - требует докера, не хватает родного приложения.
В любом случае, спасибо за наводку! Лайк, подписка, все дела.
Добавлю, что моделька "8" не сильно грузит память, но активно нагружает все ядра процессора при генерации ответа.
У меня старенький ноут i5-7200U и 12 GB оперативки, так вот маленькая Ллама скромно занимает свои 4 GB, так что у меня с докером и браузером меньше половины оперативки в использовании, приятно. Но ответа приходится ждать по 5 минут, неприятно.
И жаль, что "8" модель глуповата, напоминает ЧатЖпт 3.5.
Таки придется покупать железо помощнее, целиться на 256 GB оперативки и серверный проц. Потому как через год нейросети станут важной составляющей работы.
На сайте лламы можно также взять на пощупать модели mistral-nemo 12b и gemma2 9b, которые теоретически сопоставимы с llama3.1 8b.
Тот же Мистраль выглядит приятно, как на первый взгляд - требует больше памяти, но сложные промпты обрабатывает лучше, чем младшая ллама.
@@dolotube Вам рабочая станция с видеокартой нужна настоящей, дискретной, или мак, там архитектура подходящая под нейронки. Ни 256 GB оперативки ни серверные процы не дадут того же выхлопа.
@@dolotube Спасибо за подсказку с gemma2 9b, вроде в варианте gemma-2-9b-it-Q5_K_L.gguf вполне адекватна. Больше не влезет в 3070 :(
@@ДмитрийКарпич Что такое 3070 - видюшка? Если да, то не она решает, влезет или нет, можно вовсе без видюшки работать. Ограничение только по оперативной памяти. Если есть 8 гигабайт, и система не сжирает половину, то вполне можно три модели себе поставить и сравнивать.
И гемму вполне можно брать latest, которая просто gemma2 без цифр.
Скажите - а для "ИИ" тоже придумают религию ,- что бы ограничить его возможности?
И какой итог ролика? До конца ничего не сделано, итог не показан, смысл такое выпускать? Вот есть такие проги и что?
А че мозгов совсем нет или что? А какой итог ты ждал? Это гайд как запустить локально сетку, что ты еще хотел? Какие же идиоты просто иногда попадаются в комментах
Сеть локально запущена, интерфейс есть, что ещё нужно то?
Можно его на трейдинг использовать?
Подписался Спасибо !!
Очень хорошее видео, теперь я могу оправдать зачем мне 32 gb.
Теперь 64 gb или 124gb выглядит не так глупо. Блен, раньше было 128 , 256 mb памяти вроде , да?
Раньше ещё меньше памяти. Юзал 2 гига , 8 гигов , потом 16.
Сейчас уже 32 gb стоит, да, быстро время летит.
у меня 64гб ОЗУ для 24 ядерного проца. Использую не более 8%. И подумал тоже самое: так вот для чего я собрал такой ПК?
@@valera1rus я кстати думал отдавать в аренду вычислительные мощности, хз, у меня вот второй пк особо не работает, хотя он конечно порой бывает нужен для тестирований, либо винду ковырять. Наверное больше денег на электричество уйдёт, чем выгоды с этого получишь.)))
Спасибо большое, всё получилось и работает, вопрос в следующем, как установить эту Ламу не на диск С, потому как есть желание попробовать версию потяжелее, но так чтобы на диске С было более 230 Гигов свободного места - это трабл)()))
мне почему-то кажется kobold cpp + модели с hugging face формата tensorflow или другие совместимые куда лучше, у меня была как-то языковая модель модель с возможностью генерировать картинки без цензуры, прикольно было ролить и смотреть на чём обучалась модель когда выкатывала всякую похабчину по моему запросу) и это на старом ПК с rx 580, запускалась в режиме совместимости при размере контекста 8к. А и вдобавок можно приделать API от telegram и запустить своего бота если кто-то будет с этим возиться конечно.
Да, было бы интересно глянуть, как по АРI к таким моделям ходить (хотя, наверное, можно прогуглить просто😊)
Я за кодинг. Было бы прикольно допустим накопить свой ui и обращаться к Ламе по самописной апишке
То есть для отображения какой-либо кнопки у тебя постоянно запросы будут к api? Что за бред?
А как ее удалить?Ollama нет в списке программ и код ollama run llama3.1:8b нужно вставлять каждый раз и ololama устанавливает пакет внутри каждый раз.
Очень интернсно углубление в тему кодинга
А что там углубляться? В любой мало-мальски продвинутой нейронке пишешь промпт (например для изучения языка Python) типа "Распиши в деталях оптимальную программу изучения Python для начинающих". А потом уже преобразуй каждый пункт программы в промпт для более детального ответа. И так далее по всем вопросам. Можно даже попросить нейронку выступить в качестве экзаменатора на проверку усвоения пройденного материала или для проверки корректности какого-то вашего кода. ТАКОГО фидбека вам никакой ютубер не даст
Говорить что либо про конфиденциальность и юзать Mac или Windows ...
Привет! вот уже который день у меня в голове крутится одна мысль: можно ли установить и запустить нейросеть с флэшки? сама мысль заключается в том, чтобы не скачивать ее на пк, а запускать с флэшки когда нужно. Я полагаю, что для этого нужно отформатировать флэшку в файловую систему NTFS. Но даже если удастся скачать на флэшку, процессор ведь не сможет производить вычисления на флэшке ?
Я не очень понял, в чем преимущества использования решения с докером? Если оно требовательно к ресурсам.
Ну так что? Можно ентой штукой монитором поморгать разными цветами?
Ну да, ну да… а Метовская Лама ну просто ничегошеньки конечно не сливает! 😂 Вы так верите Цукербергу, который в открытую сотрудничает с АНБ?
Я не понял. Требуется 4гб ОЗУ или 4гб у видюхи?