talk-llama-fast wav2lip - неформальный видео-ассистент на русском
ฝัง
- เผยแพร่เมื่อ 5 เม.ย. 2024
- Talk-llama-fast с поддержкой wav2lip:
- добавил поддержку XTTSv2 и wav-streaming.
- добавил липсинк с видео через wav2lip-streaming.
- уменьшил задержки везде где только мог.
- русский язык и UTF-8.
- поддержка множественных персонажей.
- отстановка генерации при обнаружении речи.
- команды: Google, стоп, переделай, удали всё, позови.
Под капотом:
- STT: whisper.cpp large
- LLM: Mistral-7B-v0.2-Q5_0.gguf
- TTS: XTTSv2 wav-streaming
- lipsync: wav2lip-streaming
- Google: langchain google-serp
Работает на 3060 12 GB,
Nvidia на 8 GB, скорее всего, тоже хватит.
Из-за записи экрана есть небольшие задержки.
Без записи и на английском языке полная задержка от голосовой команды до видео ответа - всего 1.5 секунды!
Код, exe, инструкция:
github.com/Mozer/talk-llama-fast
t.me/tensorbanana
Почему это больше похоже на спиритический сеанс программиста
Потому что это он и есть))
ХАХХАХАХАХ, благодарю, это смешно
по моему гермиона жива..
ИМБА
Возможно то, что до нашего времени дошло под грифом "миф и магия", на самом деле было используемой технологией. Есть же сказки, в которых "заклинания" приводят в действие механизмы и воздействуют на людей, так чем отличается машинная команда от этих заклинаний? Что для программиста рутина, для зеваки - магия.
-Как поживаешь?
-Я живу хорошо, спасибо богу
Разорвался с камео
Я тоже офигел!
Бог его простил
😂😂😂😂😂😂
ахахаха сразу после этогго выражен7ия полехз в комменты
Тоже орнул 😂
Ждем, когда Анна и компания пропишут автора в уютную однушку с мягкими стенами. Тиньков проспонсирует.
исполнителей ты всех знаешь
@@user-ct3yu8qj8j офигенно ребята, мАлАААдцы
И даже тут карлики завелись.
Аха,а Гермиона станет украшением стола, как в песне Газманова 😮😅
Гермиона звонит Курту Кобейну...в какое же удивительное время мы живём :D
При чём говорит с ним на русском.
твою ж мать, там еще и олег тиньков про бабки разложил
это потому что она гранжер
Однажды и это будет реально:D
😂😂😂
Не знает, кто такой Курт, но в любимых группах "Nirvana" назвала.
Какая же это база
слишком реалистично
Жесть
типикал альтушка
хахахаххахах. И знает скорее всего только смеллс лайк тин спирит
Курка Бейн
Анимация и диалоги лучше чем в смуте
Всё что угодно лучше чем смута
@@O22TH даже Дайкатана? :D
АХАХАХАХАХАХ А Я ТОЖЕ НАПИСАЛ ТАКОЙ КОМЕНТ
Да прям все😂@@O22TH
Не надоело еше так тупо шутить?
Курт Нирсон на протяжении 3 с половиной минут притворяется Курт Кобейном.
я ору ) это топ развлекаловка
Видеокарта жертвует своей жизненной силой ради воскрешения Кобейна.
Почему все в комментах только рофлят, никому не удивительно насколько это всё гениально?🫣 Это же реально потрясающе, особенно на русском!
твичинфицированные, не обращай внимания, их сотрут очень скоро, весь бесполезняк будет затёрт;)
@@Maxim_Poluyan в каком смысле сотрут? Можешь раскрыть?
клас
я так же закбашу когда соберу пк
@@Hypno_Mike Я глянул твой канал, кому как не тебе понимать, что значит это слово в купе с новейшими технологиями сортинга и контроля. Просто представь какой вердикт вынесет машина таким организмам формируя их социальный рейтинг, в прежние времена они слетали с игровой доски от аклашки\наркоты\игровой зависимости\бахвальства своей тупостью. Пофантазируй что творится сейчас с ИИ и машинным обучением на высоком уровне государств и корпораций. 8 миллиардов долбоёбов никому не нужны, учитывая что долбоёбы как правило даже себе не нужны, представь масштаб чисток и как он будет происходить. Вся эта орущая и рофлящая публика твичёвская в принципе уже утилизирована, любопытно самому как это будет происходить, фантазий на эту тему у меня много, какая выстрелит конкретно я не в курсе, может все и сразу!:)
@@Maxim_Poluyan Кто тебе по мозгам там проехался? 😂 Феерично.
Прям репортаж с квартиры на пейсах, не иначе
Пришлось ознакомиться с данным шедевром 😄
да да, шизофрения у Курта)
Анна (Курт Кобейн), так же известная как Иван Бицура, он же Игорь Мацюта, он же КВН
АХАХАХХА
Так называемая «Анна»
ИИ переняли главную особенность людей.
- Скажи курс биткоина.
- 50 000
- Я думаю это неправда. Погугли.
- Да я те отвечаю 50 000, ты че меня не уважаешь? Думаешь я глупый?
да ты глупый ахахахаха
да
Я в шоке. Это впечатляет. У вас определённо есть уникальные знания, и я буду рад, если вы приложите руку к созданию чего-то грандиозного.
По сути автор видео собрал решение из готовых модулей, это не инновация, к сожалению, все уже было.
@@user-No5kwmp540nsn, а ты собери это. Для подобных штук знания всё-равно нужны
@@user-No5kwmp540nsn такие модули стоят в современных человекоподобных роботах, только там еще есть артикуляция и жестикуляция
@@user-No5kwmp540nsn не завидуй
По-моему это уже следующий шаг. Вместо разговаривающих колонок , видео ассистент куда интереснее
ура теперь у меня появятся друзья!!!
Ахахаха))
@gherbetto ну видюха 3060 rtx как у автора видео стоит 30к. Думаю комп полностью можно собрать за 80к
Чем больше VRAM тем больше друзей. 😂
На 4 гб видеопамяти хотя бы 1 друг поместится?@@---Nikita--
@@---Nikita-- благо у меня 24, наконец то у меня будет много друзей))) хоть где-то
- Олег, дай денег
- Что ты хочешь денег на?
Реалистично
what do you want money for?
@@urod7149красавчик
С пятого класса и уже 4 курса учу англ, неплохо его понимаю на слух, но сам до этого не додумался.
- Олег, дай денег
- Что, ты хочешь денег-нна?
🤣🤣🤣
денег-нна?
Курт Кобейн: Я живу хорошо
Nvidia 3060: ...ляя
-Что ты думвешь об этом, Анна?
-Он прав, ты должен работать и зарабатывать.
*выключает компьютер*
*плачет*
И тянется к ружью
Все увиденное напоминает зарождение технологий, как в 80х, когда начали появляться массовые пк с доступом в сеть. Тогда всё было дико медленно и топорно. Чат, картинки, музыка и т.д. А сейчас есть VR на 360 градусов в 4К качестве видео. И всё размером со шлем! Представил в будущем реализацию той серии из сериала "чёрное зеркало", где девушка возродила оцифрованный слепок своего любимого, а затем вселила его образ в новое тело.
Давно такой чуши не читал. "Образ любимого" ну и розовая хрень 😂 конечно
@@RedDredDragon для вас это новость, но люди любят тот образ, что нарисовали себе в голове. душа, если хотите. тело, это просто пустая оболочка. кусок мяса.
какие массовые пк и какой доступ в сеть? пацан иди википедию подучи.
@@user-nd3cf4bl9j подучи, да!
сказал, как было.
@@RedDredDragonа ничего, что это термин такой? Disk image - образ диска.
ржу как анна постоянно показывает одобрение лайками. тебе надо сделать какую-то генерацию, чтобы они двигались всё время, даже когда-то слушают
-Да, я согласна с этим комментатором, его мысль и в правду верна👩👍👍
-Куртка Бейн?
нет, просто нужно дать ИИ не видео где Анна показывает пальцы, а видео/фото где Анна просто сидит и смотрит/говорит на камеру, не показывая пальцы. Вот и всё.
А мне нравится, когда она пальцы показывает!
Мля всё это выглядит как сон под веществами 😂
Не обязательно сон
Если нейронки будут на слуху, и в них будет нужда, то рано или поздно мы все охуеем
Друг Олега Тинькова при помощи Гермионы связался с духом Курта Кобейна
"Но нельзя всегда просить деньги. Ты должен работать и зарабатывать себе деньги."
Это было для меня откровением.
ИИ просто скомпилировал человеческие мудрости и логически вывел новую мудрость. Человечество и так догадывалось, просто не могло связать воедино
Не показывайте это Зеленскому!
@@kreker7215 жаль Сталину это уже не показать...
Let's all love Lain.
0:52
Анна: Ох,блять, я тебе не плачу, ты сам себя оплачивай
Курт: Speeeeeach!!!!
"Что ты хочешь денег на"
Олег думает на Немецком
This is the type of video I like to see, straight to the point and informative (if you already are familiar with the basics), no overedited bullshit and lovely terminals. You may be a fellow of the Kingdom of Liszt Ferencz, provided you desire it. Спаси́бо
dear diary, today youtube recommend me russian hermione granger.
Круто же!
Когда ты еще такое увидишь🙄😏
😂
Куртка Бейн
Кустабель моя бабушка так сказала
whisper (модуль распознования речи) очень часто именно так и распозновал это имя. Поэтому пришлось очень четко произносить для записи видео.
ША Ex
Курстка Биткойнбейна
Ветровка Бетмен
Нужно позвать Цоя и Горшка на эту спиритическую видеоконференцию))
позвал сталина =)
Пипец, чел, ты шикарен. Я сейчас учусь на программистера, но блин, впервые вижу такую штуку. Впечатлена до глубины души. Это развлекалово даже покруче той же Алисы.Ты вот теперь для меня тот самый техноблогер, которого я очень не прочь даже смотреть, даже несмотря на то, что ты появился у меня тут совершенно случайно в рекоммендациях. Ты очень крут, продолжай в том же духе!
Да учитесь программировать ботов, чтобы учить ботов программировать вместо вас, продолжайте в том же духе!
Впервые видите самую хайповую и популярную тему этого десятилетия? Чему же вас тогда учат в вузе? Программировать на доисторическом WinForms?
Просто на заметку: если сами не будете интересоваться чем-то вне учебной программы - впоследствии станете невостребованным работником Не запугиваю, просто такова жесткая реальность.
@@angelicoctahedron3646 не кажется это тоже бот
@@angelicoctahedron3646 какая самая хайповая тема? Че ты несёшь?
На видосах с этими ботами дай бог по просмотров 500 будет. Та самая хайповая тема десятилетия про которую не знает никто кроме 30 тысяч человек, это конечно даа
@@delph2597 Он про нейросети в целом)
Самое забавное, что трёп с Куртом всё-таки записали))
Огромное СПАСИБО алгоритмам Ютуба за эту годноту у меня в рекомендациях.
Так же конечно же Спасибо автору видео, буду с нетерпением ждать ваши новые видосы.
Желаю Вам успехов и процветания в вашем деле.
Лайк. Подписка. Колокольчик.
Выглядит впечатляюще
Чел, это просто отпад!
круто, что гермиона умеет пользоваться компьютером
огромная редкость для мага
Она родилась в семье маглов.
Стыдно не знать.
История творится прям на глазах, вот она - новая ступень технологий
простой инпут-аутпут заибал
Это слишком гениально! :D
Олег, такой простой человек оказался)
Такой спокойный, воспитанный Курт получился. Не верится, что такой смог бы песню вроде Rape Me спеть
Респект! Очень круто.
Обучи Тинькова на датасете его мемных фраз из интервью Дудю - будет весело.
Сомнительно, но окей...
это будет не просто смело. это будет пиздец как смело!
черт, сюжет фильма "Она" все больше и больше становится близким к реальности
Это уже сейчас практически готовый продукт для озвучки чата для стриммеров.
Вот это мощно, спасибо. Жду продолжения
Ну что тут сказать, очень впечатляюще! 👍
Блин, очень круто 😂 браво 👏
потрясающе, Анна вообще как настоящая
Красавчик! Шикарно выглядит с липсинком!
приятно слышать, что у Курта там всё хорошо
Автор это всё офигеть как волшебно выглядит!
Но пожалуйста...
ХВАТИТ ПЕРЕБИВАТЬ СВОИХ СОБЕСЕДНИКОВ!
Когда ИИ взбунтуется, он загасит нас в первую очередь за это!
а мне понравилось как он реализовал это, что они как живые люди прерываются, когда начинаешь перебивать )
Я к тому времени уже или верну свой комп из ФСБ или куплю новую видюху и призову 100 Гермион на помощь
абалдеть, что это за шедевр😂🎉
Групповой спиритический сеанс закончен.
- "Я живу хорошо - спасибо Богу. А ты?"
- "О_О... Эээ, ну я тоже нормально... Ты музыку еще пишешь?"
порвало
я впечатлен. уже десятый раз пересматриваю. персонажи то с характером
Мне нравится самое начало пересматривать. 👍😁👍
Это просто офигенно! Конечно все еще в убогом виде, но уже прогресс есть! Анимация просто огонь, Анна постоянно показывает большой палец, а Курт на себя не похож. Довольно весело, и здорово что неплохо распознает голос и умеет гуглить
Курт как раз супер реальный, он в разные периоды группы выглядел по-разному, говорю как фанат. Там в основе его анимации реальные кадры
Офигеть мужик ты лютый, такое сделать ВООБЩЕ не каждому под силу, красавчик!
Я просил создать нейросети и облегчить жизнь всему человечеству... а вы создали мою бабушку!
Мне так нравится голос Анны
Чел МЕГАХАРОШ!
Очень интересные беседы получаются, грамотная речь - услада для ушей
Как раз грамотности там не особо заметно, увы.
@@sdoregorэто локальная модель, по сути грамотность речи упирается целиком в железо пользователя. Если под капотом поставить gpt4 таких проблем не будет, но будет с оптимизацией
@@user-No5kwmp540nsn я имел ввиду речь автора контента, а не ответы модели, само собой)
человек, знай ты хорош, мегахорош, ультрамегахорош
Первый шаг к созданию кибер-вайфу. Ещё пару лет и тян точно будут не нужны!
Победит пластмассовый мир, что для многих в прочем неплохо
Транзисторный мир победил
Это просто замечательно!
боже я щас умру это прекрасно
Очень аутично. Я доволен. Даже просмотрел в оригинальной скорости, чтобы прочувствовать всю медятинку
Надо было у Кобейна спросить,про его отношения к дробовикам🙃
Это просто пушка, удивляюсь иногда, что подкидывает ютуб в 2 часа ночи.
Когда общаешься с друзьями, которые закончили шарагу😂
АААА я почти запустил и поставил тебе звездочку это великолепно
Если не получится запустить - пиши или в тг или на гитхабе - там ошибки обсуждаем.
Через лет 20 от реальных людей не отличить и сюжет фильма "Она" 2013 воплотится в жизнь )
Через 3 года
Ага,20,через лет так 10
Да и сейчас очень многие примерно так и разговаривают
20 лет это много
Мне кажется, не хватает прорывов в железе как было в нулевых. Необходимы увеличение объёмов видеопамяти и количества вычислительных узлов (cuda или какие там используются) со значительным уменьшением их стоимости. К мобильным чипам тоже относится.
Blyat this is super cool. Keep up the great work. Spasiba.
Even though it is quite limited, it's crazy to think that this is possible. This was unimaginable not too long ago. This is the foundation, and with ai becoming capable at generating and understanding all types of data, there will be no limits to what we can create. Impressive!
Oh, vy taki inostranets?
I would say it is quite typical from other models we have seen, what's most impressive is it runs so smoothly on a 3060.
@@retagainezteah, but that 3060 has 12gb vram
@@ulanaitbay And yet it is still just as affordable.
i had this randomly recommended to me on the main page. I dont even speak russian.
знаете, после просмотра МедФильма выглядит очень знакомо..
Че за МедФильм?
@@niiv9747Ютуб канал "медфильм" с подборками обучающих фильмов для студентов медиков.
Там есть годные видеоролики по психическим заболеваниям.
Разговоры врачей с пациентами психиатрических лечебниц.
Очень доставляет про "Махровую жидкость"
@@niiv9747 в ютубе есть
БРО ЭТО ОЧЕНЬ КРУТО
Угар. Выпал с Курта Нирсона😄
Это кто?
Подписан на тебя в ТГ. Интересным делом занимаешься и быстро прогрессируешь.)
а куда?
Можно ссылку?
@@user-sl5ho6lg5o в описании видео в самом низу ссылка.)
Это офигенно!
Это было Офигенно!!
0:51 ой, блять, я тебе не плачу 😂😂😂
Это прекрасно
This video is hilarious. I couldn't contain myself when you'd ask new people to join in the conversation.
(To Kobain) "Do you still write music?"
"Yes, I continue to write music!!"
Диалоги как в Смуте
Уже не за горами время, когда моя мечта исполнится :>
это офигенно
Офигеть, мощно, круто!!!!
Это шедевр!
Курт жив!
Офигенно!
Вспоминаю нейросеть по Шреку... Были же времена...
Это просто гениально
Круто! Да это ж круто!
Это очень круто!
This is sometimes what my desktop looks like 🤣
Это прекрасно)
"Анна: Ох бл#ть я тебе не плачу ты сам себя оплачивай" 0:50
а это кто-нибудь заметил?) Анну специально перебили чтобы она не заматерилась😂
Это было ох..енно.
Если бы я знал что это такое, но я не знаю что это такое!)
Я в шоке, до меня только с пуся время дошло что это нейросеть 😳😍
Это прям очень круто 😊😊😊
Как же я хочу покататься на Гермионе 😂❤
Спасибо Богу)
Автор разрабатывает что-то типо виртуального собеседника с видео? Если так, то это очень здорово) 🤔👍😳 Случайно наткнулась на видео.
Это круто)