Привет Виталий ! Я новенький в таких делах , буквально недавно загорелся данной темой , програмистом ни разу небыл , но понял сразу , твои видео зачетные ! Хочу также разбератся в нейронках , многое из видео осталось не понятным ) блин, может запилиш краткий курс для новечков , без знания програмирования , чтоб хотябы в теме быть ) по делу самое актуальное что нужно знать на сегоднешней день, так как все это быстро развивается что только диву даешься , благодарю за выложеные ролики ! Я даже новый мини комп купил для такого дела ) в общем настроен решительно !!! )
Здравствуйте. Вы сохраняете историю пользовательских запросов для каких либо своих целей? Думаю для клиентов вашего сервиса помимо цены, также будет важна и приватность. Можете пару слов сказать про это?
Круто, а как боретесь с несколькими одновременными запросами? Насколько я понял по видосам из плейлиста - у вас 3 видеокарты на домашнем железе, а для обработки каждого запроса модель должна быть отдельная. Значит ли это что будет тормозить?
@@kuliev.vitaly хм, непонятно. Как такое возможно, ведь насколько я понимаю, в процессе вычислений используются все веса модели, и пока она не завершит в нее отправлять новый запрос нельзя. Кстати, я полный 0 в нейросетях, пытаюсь разобраться.
@@kuliev.vitaly ну тогда получается что модель по очереди работать с каждым запросом будет. Я пробовал апи сегодня , 100 потоков запросов делал, в целом быстро работает, но не параллельно. У меня был вопрос как такие модели можно распараллеливать
Привет. Какие будут примерно в будущем цены? Просто было бы прикольно старым юзерам дать чуть больше доступности. Также хотелось бы новое виде на тему как запушить свой проект(тг бота )на ВМ и как интегрировать туда (в проект тг бота) ламу используя твой сервис
Сфера применения такая же, как у chatgpt. Я использую для программирования и обработки текстов. В этом видео есть примеры использования: th-cam.com/video/n__fZa3V04s/w-d-xo.html
а почему не использовать тот же ollama и веб интерфейсы от ollama чтоб допилить под нужды будет легче по моему так как если с нуля писать то очень многое нужно сделать и до того как сделаешь!
Чатов с поддержкой gpt-4 есть несколько, причем бесплатные и работают без впн. С апи в этом плане хуже ситуация. Плагин codeGPT позволяет удобнее взаимодействовать с кодом. Тоже самое можно сделать и через веб чат(типа chatgpt), но придется вручную копировать много кода и дополнительнх данных - я так пробовал и это неудобно.
получается можно свою Llama3 развернуть на ПК и туда подставить? тестил ее даже на древнем железе, железо даже не ощущает что она вообще есть.😁так что развернуть на буке или ПК, кодеру свою Llama-3 и пробросить в редактор, шикарная тема. API вопросов нет, идея огонь! но там надо хотя бы 34B и выше.. 8B тоже огонь, но локально проще.😁 спасибо! а видосик по дообучить Llama3 на своих данных не хотите запилить? такого вообще толком не нарыть, или слишком поверхностно или бред..
Сколько вы платите в месяц за сервер ,на котором лама лежит? И было бы интересно посмотреть видео как вы это все кладете на сервер и настраиваете API, что это работало так же как у вас
Нейросеть запущена на моем компьютере, выделенном дя этой задачи. Стоимость аренды аналогичного сервера для запуска llama-3-8b составляет 50-100к рублей в месяц.
@@PubgSpeed-wl8yo ага я пробовал на гугловском a100 на 40г но он с легостю запускает на 8b но с 70b уже тормозить там а100 только видюха стоит 3млн рублей аналогичный а сейчас работаю через huginface там бесплатно доступен модел на llama3:70b-instruct
@@kuliev.vitaly у меня нет с этим проблем в плане опенай, и эту ламу можно поставить к себе на компьютер и пользоваться, не совсем понял зачем мне ваш сервер?
![[LIVE] : ONE ลุมพินี 86 | คู่เอก "คมเพชร vs ชาติพยัคฆ์"](http://i.ytimg.com/vi/m3q_dRYDuU8/mqdefault.jpg)
Незнаю про что тут но парень ВПН помог поднять, досих пор работает))) лайк обязательно, думаю Виталий знает о чем говорит))
Привет Виталий ! Я новенький в таких делах , буквально недавно загорелся данной темой , програмистом ни разу небыл , но понял сразу , твои видео зачетные ! Хочу также разбератся в нейронках , многое из видео осталось не понятным ) блин, может запилиш краткий курс для новечков , без знания програмирования , чтоб хотябы в теме быть ) по делу самое актуальное что нужно знать на сегоднешней день, так как все это быстро развивается что только диву даешься , благодарю за выложеные ролики ! Я даже новый мини комп купил для такого дела ) в общем настроен решительно !!! )
Супер, спасибо
Здравствуйте. Вы сохраняете историю пользовательских запросов для каких либо своих целей? Думаю для клиентов вашего сервиса помимо цены, также будет важна и приватность. Можете пару слов сказать про это?
Круто, а как боретесь с несколькими одновременными запросами? Насколько я понял по видосам из плейлиста - у вас 3 видеокарты на домашнем железе, а для обработки каждого запроса модель должна быть отдельная. Значит ли это что будет тормозить?
Модель может одновременно несколько запросов обрабатывать
@@kuliev.vitaly хм, непонятно. Как такое возможно, ведь насколько я понимаю, в процессе вычислений используются все веса модели, и пока она не завершит в нее отправлять новый запрос нельзя. Кстати, я полный 0 в нейросетях, пытаюсь разобраться.
Нужны все веса нейросети и пользовательские данные. Пользовательских данных может быть несколько.
th-cam.com/video/UB9KAYsYUQQ/w-d-xo.html
@@kuliev.vitaly ну тогда получается что модель по очереди работать с каждым запросом будет. Я пробовал апи сегодня , 100 потоков запросов делал, в целом быстро работает, но не параллельно. У меня был вопрос как такие модели можно распараллеливать
Привет. Какие будут примерно в будущем цены? Просто было бы прикольно старым юзерам дать чуть больше доступности.
Также хотелось бы новое виде на тему как запушить свой проект(тг бота )на ВМ и как интегрировать туда (в проект тг бота) ламу используя твой сервис
Насчет цен пока решил, но планирую сделать доступнее, чем другие решения. Сейчас интересно получить обратную связь от пользователей.
Извините за мой французский, я немного староват, какое практическое применение лама 3? Заранее благодарю.
Сфера применения такая же, как у chatgpt. Я использую для программирования и обработки текстов. В этом видео есть примеры использования:
th-cam.com/video/n__fZa3V04s/w-d-xo.html
а почему не использовать тот же ollama и веб интерфейсы от ollama чтоб допилить под нужды будет легче по моему так как если с нуля писать то очень многое нужно сделать и до того как сделаешь!
эт я для веб интерфейса чем с ботом что то крутить и создавать велосипед который уже создовали командой
Чатов с поддержкой gpt-4 есть несколько, причем бесплатные и работают без впн. С апи в этом плане хуже ситуация.
Плагин codeGPT позволяет удобнее взаимодействовать с кодом. Тоже самое можно сделать и через веб чат(типа chatgpt), но придется вручную копировать много кода и дополнительнх данных - я так пробовал и это неудобно.
получается можно свою Llama3 развернуть на ПК и туда подставить? тестил ее даже на древнем железе, железо даже не ощущает что она вообще есть.😁так что развернуть на буке или ПК, кодеру свою Llama-3 и пробросить в редактор, шикарная тема.
API вопросов нет, идея огонь! но там надо хотя бы 34B и выше.. 8B тоже огонь, но локально проще.😁
спасибо! а видосик по дообучить Llama3 на своих данных не хотите запилить? такого вообще толком не нарыть, или слишком поверхностно или бред..
8b для примера выложил. планирую в сервисе перейти на 70b. Промежуточных размеров 3 ламы нет. Дообучать пока не пробовал, но планирую.
Сколько вы платите в месяц за сервер ,на котором лама лежит? И было бы интересно посмотреть видео как вы это все кладете на сервер и настраиваете API, что это работало так же как у вас
Нейросеть запущена на моем компьютере, выделенном дя этой задачи.
Стоимость аренды аналогичного сервера для запуска llama-3-8b составляет 50-100к рублей в месяц.
@@kuliev.vitaly дорого, дешевле тогда пользоваться опенай, или антропик на данном этапе
@@PubgSpeed-wl8yo ага я пробовал на гугловском a100 на 40г
но он с легостю запускает на 8b но с 70b уже тормозить
там а100 только видюха стоит 3млн рублей аналогичный а сейчас работаю через huginface там бесплатно доступен модел на llama3:70b-instruct
У openai есть проблемы с оплатой и впн для России. Пользуйся моим сервисом, сейчас он бесплатный, в будущем будет недорого стоить.
@@kuliev.vitaly у меня нет с этим проблем в плане опенай, и эту ламу можно поставить к себе на компьютер и пользоваться, не совсем понял зачем мне ваш сервер?