DIY умная колонка для управления голосом устройствами умного дома Home Assistant на ESP32 и ESPHome
ฝัง
- เผยแพร่เมื่อ 21 เม.ย. 2024
- ESP32S3 Zero: alii.pub/6xwe6f?erid=2SDnjbtG1n9
Микрофон INMP441: alii.pub/6xwe6t?erid=2SDnjc4dvkZ
Усилитель D класса MAX98357: alii.pub/6xwe7e?erid=2SDnjcdFex9
Bluetooth колонка из видео: alii.pub/6xwe9j?erid=2SDnjd2yTTf
Колонка еще лучше: alii.pub/6xwe8k?erid=2SDnjcxXVcd
Насчет колонок можно поступить интересно. Их можно купить дешевле в разделе "все по одной цене" Для этого добавляем в избранное колонку и в разделе "все по одной цене" ищем.
В этом видео я показал как сделать умную колонку для управления голосом устройствами умного дома Home Assitant. Колонка создана на ESP32 S3.
Протестирована работа на компьютере с процессором Intel celeron N100. Работает очень быстро и хорошо. Материнскую плату с этим процессором можно купить тут: alii.pub/6xkmnn?erid=2SDnjdx6t1X
Статья с схемой подключения всех элементов для умной колонки на базе esp32 S3 тут и код для ESPHome можно найти тут: psenyukov.ru/%d0%b2%d1%8b%d0%b...
Так-же есть возможность создания умной колонки на микроконтроллере ESP32. Об этом я делал статью тут: psenyukov.ru/%d1%83%d0%bc%d0%b...
Как настроить Home Assistant Для управления голосом, я делал видео тут: • Управление голосом сер...
И статья про это тут: psenyukov.ru/%d1%83%d0%bf%d1%8...
Меня можно поддержать на Boosty: boosty.to/upavla
Подписаться на телеграмм канал можно по ссылке: t.me/+K05yDjyd4tJmYjky
или
t.me/ypavla
Мой 3d принтер: alii.pub/6bu5tp
Крутой тепловизор Infiray p2 pro: alii.pub/6qyhgs
Теги: #Упавла! #homeassistant #умныйдом #voiceassistant
================================================
Помощь каналу: www.donationalerts.ru/r/ypavla
Реклама: ООО "АЛИБАБА.КОМ (РУ)" ИНН: 7703380158 - วิทยาศาสตร์และเทคโนโลยี
Подписывайтесь на мой телеграмм канал: t.me/ypavla
Очень жду видео про ускорение распознавания речи. Тема очень интересная. Спасибо за действительно познавательные и интересные видео!
Супер! Про локальные базы для ускорения распознавания речи было бы интересно посмотреть
на ютубе про это масса роликов.
Плюсую, локальное распознавание речи - тема. Не нужны гугли, яндексы, огрызки, никакого слежения и рекламы.
есп32 ничего не распознаёт, кроме "хайЛексин" силёнок маловато. А вот малинка и ли другие одноплатники справляются +- сносно. Только памяти не менее 2Гиг желательно. Распознавание речи реализовать на компе за пару вечеров -- можно, проверено лично.
@@AndrewKobelev А можно пару ссылок на форумы, где подобное реализовывали? Чета захотел попробовать)
@@skylol4eg Проект Ирина
Спасибо за видосы. Развивай тему. Очень интересно! Удачи.
Микрофон подключается не по протоколу i2c, а по i2s, это кардинально разные протоколы.
Супер!!!! Огромное спасибо за ваши труды!
Респект, классная тема!
Ждем продолжения по этим занимательным устройствам!
Павел, тебе респект. Я в этом деле начинающий, а лопатить литературу нет времени. Из твоих уроков получилось сделать сервер, прошить и встроить zigbee, не первого раза конечно. Я думаю многим будет интересен этот проект на основе тв приставки. Я думаю тема с колонкой очень актуальна и развивать её надо.
Блин, очень интересно, спасибо.
У меня есть заготовки под несколько ламп гайвера. Похоже надо будет такую лампу переводить на esphome ) жаль я не умею)
Лампу гайвера лучше переводить на WLED. Там сразу всё под это заточено и с Home Assiastant WLED интегрируется в пару кликов, он сам их обнаруживает в сети. Только лучше использовать ESP32, на ESP8266 стабильность плохая.
У esphome мало готовых эффектов, или их придётся писать самому на labda, wled лучше
Да,интересно, продолжай
Павел! Конечно интересно, как запустить на приставке
Спасибо за видео.
Очень хочется узнать об локальной базе распознавания голоса.
Буду благодарен за это видео.
👍👍👍
Отличное видео, спасибо! Сколько таких колоном можно расставить по квартире?
Сколько хотите
Для желающих повторить. Вместо Wisper используйте VOSK, скорость распознавания 0.3 секунды, вместо 7-8, распознавание окончания разговора, дефолт либо умеренный. Иначе не успеете сказать то что хотели) По сравнению с шопотом, воск на несколько порядков быстрее и точнее. гуглится: vosk home assistant
а tts какой можешь посоветовать,? а то все какое то унылое, можно с робоголосом
@@EvgenMo1111 поставил Silero-TTS-Service (в гугле гитхаб проект) - ставится через докер (плагином командная строка) , шикарный голос. Основан на silero-models на хабре есть статья и примеры голосов.
@@EvgenMo1111 Silero-TTS-Service
Отлично, а как прошить плату Esp
Доброе время суток! Скажите а можно сделать голосовое управление с помощью Яндекса или tuya или любым другим способом а не только с home assistant ?
На умной панели такой же контроллер, и подключить вроде можно микрофон
На ней нельзя будет сделать голосовое распознавание?)
модуль на DUAL Core или можно не DUAL?
А как можно распознавание сделать в оффлайн режиме?
спасибо
Отличная тема! Попробовал, все запустилось без проблем. У меня сервер умного дома крутится на виртуалке Synology DS920+ и время распознавания составляет 5-7 секунд, поэтому тема по сокращению времени распознавания очень необходима!
1. потому что не нужно из сетевого накопителя делать сервер
2. потому что это переоцененное говно
@@NikeRossXP Этот сетевой, как вы говорите, накопитель который вы судя по комментарию видели только на картинке, фору даст любому arm одноплатнику (которые в основном используют для этих целей) при этом выполняя еще кучу разных задач, так что запихайте ваше диванное мнение... ну вы сами знаете куда ;))
А Павел красавчик! И только благодаря его четким и развернутым видео я вдохновился идеей умного дома и несколько не пожалел. Практически на любой вопрос по HASS да и в принципе по умной автоматике в его материалах можно найти ответ.
@@user-fg6xg7bc4u еще бы сейчас переплачивать за целерон с веб-интерфейсом для даунов
то что в него пихаются всякие пакеты, конечно позволяет говорить "кучу разных задач", но вот что он всё это делает неполноценно любители поесть говна умалчивают. Можешь попробовать сделать нетривиальную задачу: поднять на нём openvpn-сервер одновременно на tcp и udp протоколах, без необходимости генерировать сертификаты для каждого пользака. Это базовая конфигурация, если что.
"для этих целей" сейчас становятся всё более популярны всякие intel-n100 минипк, производительность можешь сравнить сам.
У меня при компиляции куча варнингов. Даже не знаю, что делать
Идея шикарная. Используя 3д принтер смогу сделать что угодно! Подскажите пожалуйста, можно ли несколько таких колонок соединить в один мозг как с яндекс алисой?
Не знаю таких способов
@@upavla Благодарю за ответ!
Даёшь голос!
Полезное видео! Я вот только не могу понять, если дешифратор по i2s (кстати не путать с i2c) и после него усилитель, если колонка больше 3w, можно ли так
Конечно можно. У "дешифратора" ровно такие же контакты на входе, а выходы -- линейные, до 12 каналов можно сделать, а не моно 3 ватта. PCM5102 называется.
Подскажите на S3 версии у вас нет следующей проблемы: В esphome сделал media player а не speaker чтобы можно было музыку играть, но при включенном распознавании горячей фразы звук музыки очень сильно заикается - не хватает мощности обычной esp32. В моменте ответа голосового ассистента это не видно т.к. он ставит на паузу распознавание пока фраза не закончится. Вот думаю имеет ли смысл брать S3 варисию или она тоже не справится.
Вот кстати тоже интересует, потому что в моем юзеркейсе колонка обязательно должна играть спотифай
Я даже не знал, что есть возможность сделать просто колонку для спотифай в esphome
@@upavla насчёт поддержки спотифай не могу сказать, но для esphome voice assistant есть 2 взаимо исключающих варианта в конфигурации: speaker и media player. Второй будет отображаться как источник вывода аудио в HA и на него например можно выводить голосовые уведомления или музыку.
Я бы про тв бокс поинтересовался
Непосредственно сейчас хочу занять сбором такой колонки-ассистента. Поэтому любое раскрытие темы интересно. И локальный запуск модели в том числе. А ещё в документации ESPHome сказано, что ассистент очень прожорливый в плане ресурсов поэтому не рекомендуется использовать его с некоторыми другими компонентами. Мне же хочется чтобы колонка параллельно работала в режиме media player. Это реально вообще?
Начните с ассистента, а не с колонки
Доброго времени суток. Собрал такой проект на esp32, запускается, вызывается по имени, принимает одну команду выполняет её и все, больше не вызывается ничего не слушает не выполняет. Выключаю питание, включаю опять тоже самое.
Подскажите куда поковырять, может сталкивались с такой проблемой?
А музыку включить и gpt чат прикрутить можно?
Павел! Можешь прокометировать тему про китайские реле для управления шторами, в УДЯ напрямую они не залетают, через связку аккаунтов добавляются, но нет функции СТОП, только вверх или вниз до упора... Что с этим можно сделать...
Можете куда-то в телеграмм ссылку на реле скинуть. Я не очень понимаю о чем речь
@@upavla отправил в чат в телегу
И ещё хотелось бы точнее понять, а чем разница использования разных плат esp32 и что точно не подойдёт?
ESP32 S3 подойдёт идеально, а ESP32 S1, 2 или ESP32 C3 тоже подойдёт, просто будет больше нагрузка на сервер.
А есть способ добавить интонацию голосу? Очень хотелось сделать себе такую калонку и не одну но очень беспокоит ужасное произношение фраз.
Получается колонка это уши и рот для хом ассистент. И все расчеты происходят на основном сервере?
Павел, а вы вначале говорите что esp32 не умеет wake word, только s3. А в конце показываете пример на esp32
ESP32 S3 умеет, а ESP32 S1 или ESP32 C3 не умеет делать wake word ВНУТРИ Себя, а делегирует это задание серверу
там распознавание идёт уже на сервере Хоум Асситант (он постоянно слушает эфир)
А у меня вопрос) А нельзя ли скрестить блютуз колонку и еспешку таким образом, чтобы работоспособность осталась и у одного, и у другого? По сути, вывод усилителя можно запаять на плату колонки (к выводам на динамик) или ещё проще, найти у платы колонки "вход" на усилитель и припаяться туда (тогда сторонний усилитель нам вовсе и не нужен)?
скорее всего можно . надо раздобыть схему вашей блютус колонки.
Павел, а есть вариант интеграции алисы в хом ассистант, без использования яндекс колонки? Скажем, сценарий, когда есть выделенная машина, на которой крутится сервер ha, и просто туда через микрофонный вход и выход, скажем, на внешнюю колонку.
Есть.
@@AndrewKobelev И как вы Алису без Яндекс колонки в HomeAssistant запихнёте? Там с родной-то их колонкой всё через одно место работает
@@ELFMEDIA никак не запихну. Товарищ спрашивал про "сценарий, когда есть выделенная машина, на которой крутится сервер ha, и просто туда через микрофонный вход и выход, скажем, на внешнюю колонку" -- это ведь проще, чем городуха на "блюпуп колонке, I2S микрофоне и ESP32 S3"
А как-то голос менять можно? А то он сильно режет уши.
Ну там можно поменять на мужской например. Есть несколько вариантов
Конечно можно! Для умного дома синтез речи городить нет необходимости. Ответов то, типа "свет в туалете включён" немного вариантов, и вообще можно записать фразу "выполнено , мой господин! " и проигрывать её, как ответ на все команды.
А возможно выводить на такое устройство заданное сообщение? Например, предположим встал на весы и устройство объявляет: ваш вес Хх килограмм.
Да, можно
@@upavla если будет возможность, просьба тоже показать на видео или в статье как это работает на самодельной колонке esp для упревлени голосом
Подскажите, как оно работает при включенном телевизоре/музыке/пылесосе итд?
Мне вот тоже интересно) Если сосед перфоратором работает целый день, делает из стен - сыр... сможет ли "колонка" голос распознавать?
Отлично работает, включенный телевизор/музыка/пылесос не помеха
@@vyshnyvetskyy сможет
Можно ли свое кодовое слово использовать? И прикрутить голос покачественней?
Есть много вариантов. Именно моя использует локальные команды которые поддерживает сама esp32 s3 таких команд только 3. Если сделать так, чтоб распознавание отправлялрсь в home assistant, то там распознаваний команд будет больше. В списке штук 20. Так же можно ещё базу команд прикрутить и там будет ещё больше вариантов. Ну и по поводу голоса. Тоже есть варианты разные
@@upavla Спасибо за ответ. Ну вы же понимаете что сама esp поддерживает ровно то что в нее залито при прошивке. А прошивку компилируете вы в Esphome. Так что вопросы остаются. Надеюсь доснимите в других обзорах)
@@dartwejders Я так понимаю, в ESP заливается микронейроночка натасканная на одну конкретную активационную фразу. Таким образом нельзя выбрать произвольную фразу, только те, что заранее подготовлены. Так работают и яндексовские колонки и активация голосового ассистента в смартфонах.
@@dNixВсё верно, "в ESP заливается микронейроночка натасканная на одну конкретную активационную фразу. Таким образом нельзя выбрать произвольную фразу, только те, что заранее подготовлены." А как готовить, описано в ЕСП-шной документации.
@@AndrewKobelev Понятно, что если что-то сделано человеком, вероятно кто-то другой сможет это повторить. Я мало знаю про ML, сложно оценить насколько это трудоёмко. Наверное не очень. Наверное даже достаточно среднестатистических домашних мощностей. Но надо же подготовить и разметить датасет. Сотни, тысячи правильных и неправильных слов, разными голосами, в разном темпе, с проглоченными окончаниями, с разными дефектами, интонациями. Очень близкие слова, слова включающие в себя активационное или похожее... В датасетах же вся ценность.
Спасибо за обзор, интересный проект. Сравнение производительности было бы интересно посмотреть. Коммерческие колонки как раз характеризуются быстрым откликом на множество команд. Приблизиться к этому - это значит получить open-source решение не завязанное на каком-либо вендоре.
Коммерческие колонки характеризуются быстрым откликом на множество команд. Потому, что они используют ресурсы вендора, например, Алиса использует ресурсы Яндекса , а это гигантское количество серверов. У которых есть хозяин, обслуживающий их. Опенсорсные "решения", такой роскошью не располагают. Можно только рассчитывать на домашний сервер.
@@AndrewKobelev Речь про задержки сети, естественно в локалке self-hosted решения будут гораздо быстрее чем облачные решения, даже не смотря на "супер-пупер" сервера облака.
@@VitaliySunny сравнил время отклика четырёх серверов, привожу максимальные (самые плохие) значения -- локального 3мс , РФ 18мс, DE 57mc, US 178mc. Разница, конечно есть, но уловить даже 0.1 с, затруднительно. Когда сеть нашей организации объединили через космическую связь (до этого была модемная), то пинг достигал до 1,5 сек, и да, такая задержка чувствовалась, но это было 20 лет назад. Тем не менее локальный сервер обладает решающим преимуществом в плане той же безопасности, мы же не хотим, чтобы наш умный дом накрылся медным тазом, как иранская ядерная центрифуга в 2010 г.
Я уже подумал что на S3 распознование работает, у Espressif есть такая реклама, а тут ESP32 просто как WiFi-микрофон используют..( При чем можно сказать без реального практического применения..
На S3 работает распознавание wake word - начальной фразы обращения (например, "окей набу" или какую настроите). Остальная процедура stt на сервере.
"на S3 распознАвание работает" -- действительно работает, у Espressif есть документация на Гитхаб с примерами. "А тут ESP32 просто как WiFi-микрофон используют." - именно так и есть.
Читая коментарии, возникла мысль о том, что было бы здорово, если бы можно было как-нибудь перепрошить яндексовские колонки, которые поподписе. Их на просторох Авито можно найти за шапку сухарей. При этом в них отличные микрофоны и динамики.
Во первых, "прошить" -- реально, там Линукс (или РТОС) стоит и процессор 4х ядерный и памяти достаточно (раз в 20 больше, чем в ЕСП), из конфетки сделать гавно легко. Только зачем? У меня 2 такие колонки работают без подписки. Весь цимес этого проекта в том и заключается, что автор умудрился запилить распознавалку на этом "ПочтиАрдуино". Я тоже запустил торгового бота на ЕСП32 для биржи бинанс. И этим гордился. А народ спрашивал " а сколько % в день даёт сей агрегат", "а на компе это реально запустить?", вместо того, чтобы восхищаться "как тебе удалось впихнуть торговый терминал и робота-трейдера в эту дешевую микросхему".
Моя идея,заключается в том, чтобы хоть как-то реанимировать и использовать яндекс колонку (по подписке ), которую я в своё время лоханувшись купил на Авито. И сейчас она валяется без дела, т.к. без подписки это кирпич. А вот если бы её можно было-бы перепрошить и использовать как колонку в этом видео было бы очень здорово. Потому, что яндекс колонка наверняка лучше будет слышать на расстоянии т.к. у неё массив микрофонов, да и ответ будет звучать поприятнее.
@@Kirilloff73 Надо сбросить вашу Алису на заводские настройки, а потом заново её активировать. А подписку не включать. У меня 2 колонки с алисой, лайт и DEXP. Обе работают без подписки полтора года как. Некоторые функции не работают, например, нельзя запустить какую нибудь произвольную музыкальную композицию. Вебрадио работает, диалог алиса поддерживает, этого мне достаточно.
@@Kirilloff73 попробуйте сбросить колонку на фабричные настройки. И заново активируйте через свежесозданный аккаунт. А подписку не подключайте. Если не получается никак сбросить, мой совет-продайте на том же Авито, и купите колонку типа как У Павла и "массив микрофонов", ибо надеяться на то, что используете "алисины" микрофоны - зыбкая идея. И с чего это "ответ будет звучать поприятнее", это всецело зависит от TTS модуля.
@@Kirilloff73 Нет пока никаких прошивок под их железо
Такие колонки на озоне есть по 300р
Выходит что на Rasp 3b+ не имеет смысла делать?
любой Распберри Пи легко уделает десяток-другой ЕСПшек.
Можно подключить гугл ттс и какое нибудь внешнее распазнование, но это скорее всего будет платно, а так да, rpi не вытянет нейронки по синтезу и распознаванию речи
@@serega40404 Вытянет, просто синтезировать будет чудовищно долго.
Смотря ЧТО делать. Если аналог того, что в видео, то , несомненно, на RPi 3, 2 и даже 0 и 1 такая беспроводная колонка с микрофоном заработает, ресурсов у малины в 10 раз больше, чем у ESP32. Если пытаться взвалить на малину 0,1,2,3 серверные функции, распознавание и синтез речи, да ещё заставлять управлять умным домом, то вся эта городильня...даже распознает команду 1-2 раза, затем свалится в коматозное состояние. Получается, что в первом случае просто расточительно использовать Распберри там, где справляется ЕСП, можно найти применение получше, а во втором -- просто не "взлетит".
@@AndrewKobelev gtx730 вытянет киберпанк, просто fps будет мало)
подскажите а как реализовать аналог алисы без подписок?
Берёте Алису -лайт, или там Марусю...и не оформляете подписку. И алиса безо всякой подписки отвечает на вопросы, сообщает прогноз погоды и включает, например , Радио Джаз.
@@AndrewKobelev ну музыку то не будит включать плюс стучит на тебя самому Якину ☝️😳
@@444STG Если вам нужно включать музыку, алиса включит одну из 100500 интернет-радиостанций. Боитесь, что сам Якин узнает, тогда "Ирину" запустите или "Сару", она будИт включать, всё , что запрограммируете.
@@444STG как страшно жить! :-)
@@AndrewKobelev дорого стоит 5,5к за хрень которая на тебя стучит
Супер. Только esp32 ц3. Не c
Наоборот
Интересный проект. Спасибо за такие виедео.
Жаль не получится сделать колонку на HASS на базе TV Box H96 Max на процессоре Rockchip RK3318. Ему явно не хватит ресурсов для распознавания голоса.
Вот если бы был способ вынести распознавание на отдельную машину, да ещё и встроить её в колонку, это было бы вообще шикарно.
На тв приставке этой добились хорошего распознавания. 2 секунды думает. Но там с локальной базой
@@upavla Можно пример как это сделать?
@@bambatvтакое ощущение, что Вы не посмотрели видео до конца.
Но я тоже за освещение темы локальных голосовых баз, хотя меня пока и Алиса мини вполне устраивает
Не городите ерунду, у Rockchip RK3318 ресурсов на пару порядков больше, чем у любого МК , даже ЕСП.
@@AndrewKobelev При чём тут МК, распознавание голоса на сервере происходит, кроме wake word. Если целик не вывозит, то тв приставка тоже не вывезет
Я что-то прослушал. Сначала автор говорит что распознавать будет esp32-c3, потом говорит что у него celeron и поэтому думает долго. И я так понимаю никакого распознавания нет и в помине. Есть сравнение ранее записанных отрывков с тем что произносится и все. Да когда это работает без инета конечно же круто. Но для таких тугих как я хотелось бы более разжеванного материала.
На ESP32 S3 работает распознавание wake word - начальной фразы обращения (например, "окей набу" или какую настроите). Остальная процедура stt на сервере.
А без ассистента можно сделать? Как Алиса?
Ещё так глубоко не вникал. Но там делали так, что колонка отвечала беря информацию из гугла
@@upavla мне инфа не нужна. Просто для умного дома вкл выкл и все.
Так алиса--это ведь голосовой ассистент
У Алисы просто этот ассистент живёт в облаке на серверах Яндекса
@@spajalnikomконечно можно! Только это надо, как у Алисы, где всё вынесено на гигантские серверные кластеры, вы же автономии хотите?
В общем, если надо вкл-выкл по голосовым командам, то самое тяжелое - это запустить распознавание речи в текст. Это кусочек от проекта Ирина, или Сара. Делается за пару вечеров. Надо найти какой-то комп или одноплатник под сервер. Если сможете на него установить numpy (и желательно, но не обязательно, matplotlib) , значит железо, скорее всего, потянет и вам это тоже по плечу. Только надо решить, какое устройство и по какому протоколу будет делать ВКЛ-ВЫКЛ.
Не i2c а i2s произносится по-разному.
Да, оговорился
мужик, ты в курсе что в браузере есть такая замечательная функция как ЗАКЛАДКИ !!!!
ещё и клавиатура вся обосрана, постеснялся бы такое снимать.
добрый день. я к сожалению не программист, но интересуюсь)) и возник вопрос: а можно вашу разработку скрестить с голосовым ассистентом из этого видео: th-cam.com/video/bu-tJTA-kKs/w-d-xo.htmlsi=9msnNuvYFAMEWhjO
в заголовке ты пишешь esp32, а по итогу это на esp32 не будет работать, нужен esp32s3, ну так сразу написать нельзя было?
Почему не будет работать? Я в видео работу и на esp32 показал. И инструкцию сделал на работу esp32. Повнимательнее. Демонстрация работы есть в видео и ссылка на схему подключения естьв описании видео. И не "тыкайте".
собрал данный девайс и разочарован это мягко говоря я думаю до Алисы им еще лет 5
м-да, чего только не придумают из-за больной паранойи... вам самим не смешно?)))))
А что должно быть смешного в колонке менее чем за 1000 рублей?
Какой геморой и убогость по сравнению с Алисой!
Алиса устраивает! Зачем эта наабу?
Вам не нужна:)
@@upavla Не в этом смысл. Может у нее приемущества есть? Чем она лучше? Или только одно приемущество - цена? Может надо сравнить с Алисой. Чем лучше та или другая система?
фишка в локальности@@user-lz1bd3jd6o
@@user-lz1bd3jd6o алиса умеет работать без интернета?
Может быть потому что Алиса вас всегда слушает. И что она на свои сервера посылает никто не знает. А тут локальное решение