Про отдельный контекст - так везде устроено, llm изначально stateless. Нужно просто сохранить свои сообщения и ответы llm, а потом ей в начало контекста добавлять
Очень понравился формат видео. Если бы мог то поставил бы 2 лайка. Прикольно что можно самому побаловаться не ищя туториалов а воспользоваться тем что есть какая-то инструкция по шагам.
Знающие люди рассказывают, что LLM на 13 миллиардов параметров можно локально гонять на 4090, хоть и в потном для последнего режиме. Сетка при этом всё равно выходит довольно тупенькая. А на кой ляд в браузере нужен искусственный имбецил, который при работе будет ставить на колени клиентское железо - и вовсе непонятно.
Локально можно запустить и 30B вообще на CPU, если есть 32Гб оперативки, если это квантизованные модели. Но скорость генерации будет несколько токенов в секунду. Для узко-специализированных задач тонко настроенная модель небольшого размера может вполне неплохо работать. Для этого хватит и видеокарты на 16 Гб. Где-то мне попадались тесты, что даже Intel Arc A770 выдаёт до 70 токенов/с при работе с Mistral 7B, с весами, сжатыми до INT4.
Да хрень это все. Годятся только для подкидывания идей да как интерактивное дополнение к уже написанному - это да, это лучше чем встроенные подсказки ide. Уже несколько десятков этих LLM перепробовал локально, все тупые, что 13B, что 30B. Гоняется оно локально на cpu+gpu, довольно шустро, через lamacpp, с поддержкой и nvidia и amd gpu - на гитхабе есть инструкции. Есть плагины для всяких ide, которые подключают такие сетки к ide и запихивают в контекст окружающие файлы. Но облачные сетки, как тот же codium или copilot, существенно адекватнее локальных. Может быть с распространением NPU, через несколько лет, можно будет локально запускать более умные сетки, с большим количеством параметров, от них толку явно будет больше.
Почему-то гугол скрыл комментарий UPD: а этот не скрыл. Странно, там был кусок кода с офсайта по теме. В общем, теперь всё немного по-другому, нужен API_KEY и импортировать @google/generative-ai
В браузере AI я точно использовать не буду а вот встроенную в IDE - пока раздумываю . Поєтому вопрос: как тебе Codeium? Я заметил что он встроен в редактор и активен. Нравится?
Медленный, но глубокий поиск например. У вас есть ограниченный набор ключей, а пользователь делает почти произвольный запрос, который приводится нейросетью к одному из них. Пример запроса: "красный кандибобер", преобразуем в фразу "какая категория товара подразумевается во фразе красный кандибобер?" Ну а дальше снимаем сливки в виде ответа "головные уборы". Также помогает обрабатывать фразы с опечатками.
@@cblbopotka3915 но это ведь браузерный api для ai и что бы искать на фронте то нужно выгрузить на клиент кучу информации, не думаю что это хорошее решение по нагрузке для клиента и бэка в том числе постоянно отдавая много трафика
Миша, спасибо за опыт и время. У меня такой вопрос, востребованы ли голанг разрабы в Европе? Что-то очень скудно по вакансиям (и по количеству и по зарплате). Есть ли вероятность, что к примеру Германия,всё же перестанет использовать допотопные технологии и перейдёт к цифровой революции?
веб-макаки все в браузер тащат. Им от native страшно и некомфортно. Хорошо, что скоро их всех AI вытеснит, и можно наконец от bloatware будет избавиться.
в компонентах не нашел такого как в видео, но обратил внимание что модель уже обьясняет ошибки консоли ```const prompt = await aio Uncaught InvalidStateError: The session cannot be created. Explanation The "Uncaught InvalidStateError: The session cannot be created" error in your browser typically indicates an issue with establishing a WebRTC session. WebRTC is a technology that enables real-time communication (like video calls, voice chat, or file sharing) directly between browsers.```
Дурная немного идея. Мобилки и так не особо шустрые, а тут еще и какая-нибудь рандоманя либа сможет запускать процесс напрямую влияющий на производительность гпу (что важно в играх), да еще и кушать батарейку.
прикольно было б указывать на уровне системы и/или браузера какую ллм использовать не вижу ппроблемы в разных моделях, если ето доступно по выбору а не принудиловка а то будет скоро кто модерирует/политкоректирует самую массовую модельку - тот правит миром 😈
Миш, земеля, я уже все нашел.)) тебе досочно или RX580 amdFX8500 DDR3 16G, это прям ну реально дешево 200$ примерно.. протещено на ПК сына он дотку на нем стрмил и с ламкой общался все ок. проверил на тором ПК тоже летает. Llama3 8B + RAG это делается за пять сек, потом можно в pycharm встроить в пару кликов. по быстрее достаточно 3060 12G у меня оно сейчас, берешь дешевый проц и мать, DDR4 стоит гроши б\у над 16гиг и она прям ну вообще не уступает ChatGPT4.. до обучить будет стоит примерно 70$ (я спрашивал ребят 6к русских вышло подтянут русский выше GPT4). это гроши!!! я в ликедын посты кидал как на буке тестит это все с 3060 6G ноутбучной тоже летало. собрал не большой серверок себе домой, и наслаждайся!
ИМХО локалки это весьма спорnый вопрос. NVIDIA тоже свою выпустила для RTX, там модель под 16G. Логика простая, если у меня Optic 1G интернет, зачем мне заморачиваться на локалке. Там же информация будет всегда устаревшая. А у меня всегда под рукой MS Copilot, Gemini, Cloude, OpenAI, You и т.д. Всегда сравниваю ответы.
Придерживаюсь схожего мнения. Даже последние claude модели всё ещё туповаты, а всякие лламы3 даже на 70б это прям уровень детей который непонятно кому и зачем нужен. Единственный аргумент для локальных моделей - приватность, но как бы хз. Лучше пусть ЛЛМ учится на моих данных и становится лучше, чтобы через год я смог получить ещё более крутого ИИ ассистента.
@@IgorAlentyev Приватность это приятно, но нужно ее оценивать адекватно. (я страны с диктатурами не рассматриваю) Запрос порнухи с IP адреса несет некую информацию. Вопрос, как это влияет на хозяина квартиры? Так же и с AI. P.S. Privacy у нас в Канаде дело серьёзное. Ну да, мы вынуждены доверять некоторым компаниям...
![ประสบการณ์ จ้าง Developer ที่ผมจะไม่มีวันลืม [ภาค2]](http://i.ytimg.com/vi/pZbsSDRrmXA/mqdefault.jpg)
Спасибо за видео. Теперь я узнал столицу Австралии.
чувствую в итоге мы будем делиться друг с другом промтами которые позволят убедить chrome не отключать adblock 😅
Как бы не пришлось убеждать adblock не удалять chrome.
@@RusLSystems крайне вероятный исход, на самом-то деле 👀
нет рекламы на пол видоса, уже только за это лайк)
Ниче сее стандарты)
А я на автомате промотал первые 40 секунд видео не глядя. Но там, оказывается, был контент, а не бесполезное интро. Возмутительно.
Нейросеть посоветовала меньше рекламы вставлять😂
Если в видосе нет рекламы, значит весь видос реклама (с) Джейсон Стетхем
Про отдельный контекст - так везде устроено, llm изначально stateless. Нужно просто сохранить свои сообщения и ответы llm, а потом ей в начало контекста добавлять
Поддержу идею. Делай больше контента, когда не только пересказ, а что-то видно на экране.
надо было потыкать во вкладку Network, он точно никуда вопросы не отправляет? он все знания загрузил на компьютер?
Очень понравился формат видео.
Если бы мог то поставил бы 2 лайка.
Прикольно что можно самому побаловаться не ищя туториалов а воспользоваться тем что есть какая-то инструкция по шагам.
Знающие люди рассказывают, что LLM на 13 миллиардов параметров можно локально гонять на 4090, хоть и в потном для последнего режиме. Сетка при этом всё равно выходит довольно тупенькая.
А на кой ляд в браузере нужен искусственный имбецил, который при работе будет ставить на колени клиентское железо - и вовсе непонятно.
маркетинг наше всьо
там и 16Gb VRAM достаточно. И они далеко не тупенькие, если им инструменты выдать.
Эти знающие люди, как ученые из советских НИИ и заводов. Если США не пришлют инструкции с переводом, то всё встанет раком.
Локально можно запустить и 30B вообще на CPU, если есть 32Гб оперативки, если это квантизованные модели. Но скорость генерации будет несколько токенов в секунду. Для узко-специализированных задач тонко настроенная модель небольшого размера может вполне неплохо работать. Для этого хватит и видеокарты на 16 Гб. Где-то мне попадались тесты, что даже Intel Arc A770 выдаёт до 70 токенов/с при работе с Mistral 7B, с весами, сжатыми до INT4.
Да хрень это все. Годятся только для подкидывания идей да как интерактивное дополнение к уже написанному - это да, это лучше чем встроенные подсказки ide. Уже несколько десятков этих LLM перепробовал локально, все тупые, что 13B, что 30B. Гоняется оно локально на cpu+gpu, довольно шустро, через lamacpp, с поддержкой и nvidia и amd gpu - на гитхабе есть инструкции. Есть плагины для всяких ide, которые подключают такие сетки к ide и запихивают в контекст окружающие файлы. Но облачные сетки, как тот же codium или copilot, существенно адекватнее локальных. Может быть с распространением NPU, через несколько лет, можно будет локально запускать более умные сетки, с большим количеством параметров, от них толку явно будет больше.
Замечательно! ♥
Интересно сколько придётся ждать ответ если адаптировать эту разработку под esp32
Поправьте, пожалуйста, панораму звука. Голос гуляет слева-направо
Спасибо за полезное видео❤
А какое практическое применение ?
Если я пишу приложение, то у других пользователей эти параметры в браузере отключены.
Спасибо, Миша за видос!
Здравствуйте, подскажите, у вас есть курсы по солидити и работы с дюн?
Приветствую.
Вопрос. Есть гайд для того, чтобы обучиться тому, что писалось в html файлике?
Ничего не понял, но как же интересно!
Optimization Guide On Device Model не появляется
Почему-то гугол скрыл комментарий
UPD: а этот не скрыл. Странно, там был кусок кода с офсайта по теме. В общем, теперь всё немного по-другому, нужен API_KEY и импортировать @google/generative-ai
В браузере AI я точно использовать не буду а вот встроенную в IDE - пока раздумываю . Поєтому вопрос: как тебе Codeium? Я заметил что он встроен в редактор и активен. Нравится?
Использую в качестве автокомплита. Как по мне чатжпт более компетентен и адекватнее.
... встроена в хром и работает без интернета... Еще скажи, что режим инкогнито действительно анонимный и гугл ничего не видит )
А почему вы решили что режим инкогнито в браузере = анонимность ? Речь ведь скорее про хранение истории
Отключи интернет и пробуй.
❤ прическа как у археолога Копай )
Миша Ларченко
МЕЛКИЙ ШРИФТ В ВИДЕО
Не понимаю природы, почему мне это нравится? 🥲
По итогу имеем просто встроенный чат или нечто больше - парсинг сайта и занесения в контекст, напр.?
А вот это бы чекнуть нужно, скормить ему html и попросить вернуть то что нужно
Вот так сходу не могу придумать куда это использовать? Может кто то поделится мыслью к какой ситуации это можно прикрутить такую нейронку?
Медленный, но глубокий поиск например. У вас есть ограниченный набор ключей, а пользователь делает почти произвольный запрос, который приводится нейросетью к одному из них. Пример запроса: "красный кандибобер", преобразуем в фразу "какая категория товара подразумевается во фразе красный кандибобер?" Ну а дальше снимаем сливки в виде ответа "головные уборы". Также помогает обрабатывать фразы с опечатками.
@@cblbopotka3915 но это ведь браузерный api для ai и что бы искать на фронте то нужно выгрузить на клиент кучу информации, не думаю что это хорошее решение по нагрузке для клиента и бэка в том числе постоянно отдавая много трафика
Расширения с парсингом сайта и поиском основной инфы возможно... более крутой текст рыба чем лорем ипсум на сайте
Миша, спасибо за опыт и время. У меня такой вопрос, востребованы ли голанг разрабы в Европе? Что-то очень скудно по вакансиям (и по количеству и по зарплате). Есть ли вероятность, что к примеру Германия,всё же перестанет использовать допотопные технологии и перейдёт к цифровой революции?
А зачем это вообще надо?
веб-макаки все в браузер тащат. Им от native страшно и некомфортно. Хорошо, что скоро их всех AI вытеснит, и можно наконец от bloatware будет избавиться.
Гугл в гул засунули. Разумисты.
Live coding состоялся, ура)
Так где же эта первая страница, на которой ссылки на другие?
Интересно, вытащить бы её из браузера отдельно
в компонентах не нашел такого как в видео, но обратил внимание что модель уже обьясняет ошибки консоли ```const prompt = await aio
Uncaught
InvalidStateError: The session cannot be created.
Explanation The "Uncaught InvalidStateError: The session cannot be created" error in your browser typically indicates an issue with establishing a WebRTC session. WebRTC is a technology that enables real-time communication (like video calls, voice chat, or file sharing) directly between browsers.```
Самое страшное, что если это внедрят в использование, то браузеры начнут тупить с невиданной силой, и требовать топовое железо.
так и будет, но, скорее всего, там будет какой - то переключатель: с ии и без.
столица Австралии - Камамбер!
кукумба!
Камбоджа
на вопрос крутится ли Земля вокруг Солнца, разные браузеры дают разные ответы.
среди них был ответ: Солнце на ночь уходит выпить кислоты с Меркурием.
Думаю, что в видео нет информации о том, сколько памяти эта нейросеть использует.
Я когда эту новость первый раз увидел (в четверг) подумал, что это розыгрыш, потому что ничего про скачивание модели не было и якобы отвечает сразу
Помните Скрепыша в Microsoft Office? Вот это оно и есть: бессмысленный, беспомощный, никому низачем не нужный инструмент. Баловство.
Не обижай скрепыша 😓
Будем собирать консилиум браузеров. И они будут ревьюить код друг-друга.
Ждём решение от Mosaic )
Это вообще входит в обязанности веб дизайнеров тоже?
Одно дело, когда оффлайн программа, другое когда браузер. Хотя браузер можно как просмотрщик файлов использовать
пытался научить сверстать 1й экран чат гпт... потратил часа 4 .. в итоге оно сверстало номально шапку, а пнг так и не смогло прибить к краю хедера...
Claude 3.5 sonnet хорошо верстает по скриншоту
Дурная немного идея. Мобилки и так не особо шустрые, а тут еще и какая-нибудь рандоманя либа сможет запускать процесс напрямую влияющий на производительность гпу (что важно в играх), да еще и кушать батарейку.
Надо микрофон, Миша
А сорцы? [На самом деле переживу. Потому что ради «пощупать» Chrome ставить не буду. 🔥🦊 ✊]
прикольно было б указывать на уровне системы и/или браузера какую ллм использовать
не вижу ппроблемы в разных моделях, если ето доступно по выбору а не принудиловка
а то будет скоро кто модерирует/политкоректирует самую массовую модельку - тот правит миром 😈
а в чем смысл локальной AI?
Спросить про столицу Беларуси, находясь в Беловежской пущи. 😊
Я тоже не поняла. Ведь у всех этот параметр отключен. Я имею ввиду в браузере.
Так, кто помял Мишу и не погладил обратно?
Наверняка уже есть расширения ++
Танцы с бубном...
Миш, земеля, я уже все нашел.)) тебе досочно или RX580 amdFX8500 DDR3 16G, это прям ну реально дешево 200$ примерно.. протещено на ПК сына он дотку на нем стрмил и с ламкой общался все ок. проверил на тором ПК тоже летает. Llama3 8B + RAG это делается за пять сек, потом можно в pycharm встроить в пару кликов.
по быстрее достаточно 3060 12G у меня оно сейчас, берешь дешевый проц и мать, DDR4 стоит гроши б\у над 16гиг и она прям ну вообще не уступает ChatGPT4.. до обучить будет стоит примерно 70$ (я спрашивал ребят 6к русских вышло подтянут русский выше GPT4). это гроши!!! я в ликедын посты кидал как на буке тестит это все с 3060 6G ноутбучной тоже летало. собрал не большой серверок себе домой, и наслаждайся!
+ 1.5Гб в хром
Нахалеру гэта калі ёсць ollama?
Зачем нейросеть для разработчиков, пусть разработают уже нейросеть которая полностью заменит их да и все, кому нужны эти полумеры? :)
быдлокод сам себя не напишет (
Вот,, вот, уже , уже. Сразу за беспилотными таксо. Только дайте триллион долларов, и ИИ каааак всех заменят.
Ai ai ai ai ai ai
ИМХО локалки это весьма спорnый вопрос. NVIDIA тоже свою выпустила для RTX, там модель под 16G.
Логика простая, если у меня Optic 1G интернет, зачем мне заморачиваться на локалке. Там же информация будет всегда устаревшая. А у меня всегда под рукой MS Copilot, Gemini, Cloude, OpenAI, You и т.д. Всегда сравниваю ответы.
Придерживаюсь схожего мнения. Даже последние claude модели всё ещё туповаты, а всякие лламы3 даже на 70б это прям уровень детей который непонятно кому и зачем нужен.
Единственный аргумент для локальных моделей - приватность, но как бы хз. Лучше пусть ЛЛМ учится на моих данных и становится лучше, чтобы через год я смог получить ещё более крутого ИИ ассистента.
@@IgorAlentyev Приватность это приятно, но нужно ее оценивать адекватно. (я страны с диктатурами не рассматриваю) Запрос порнухи с IP адреса несет некую информацию. Вопрос, как это влияет на хозяина квартиры? Так же и с AI.
P.S. Privacy у нас в Канаде дело серьёзное. Ну да, мы вынуждены доверять некоторым компаниям...
Нейросети не нужны
что ты за программист, если ты без хрома никто )
Просили написать что я думаю. Я думаю что JS - Дерьмо
хрень, чисто побаловаться