Будущее определённо есть. Пока эта тема до конца не изучена, вряд ли она пойдёт в широкий оборот. Но, с совершенством этой технологии, будет всё больше внедряться в широкое пользование, а может и вовсе станет стандартом качества. Незаслуженно мало просмотров. Если честно, даже обидно как-то. Хорошая работа, Руслан) Красавчик)
Ролик душевный, видно, что над ним думали, Руслану респект! Что касается звука: ловлю себя на мысли, что прослеживается некая аналогия с 3D видео ( для создания нужна специальная техника, для монтажа и просмотра дополнительные побрякушки, что не удобно в принципе), но потенциал определенно есть, интересность есть. Осталось проследить; дожмут ли тему технически, или она заглохнет как и 3D видео?
Тема в общем давно не новая. Первый раз я услышал результат работы алгоритма Cetera в аудио Virtual Haircut с барбершопом Марио и Луиджи. И честно, офигел когда услышал впервые. Кому интересно, найдите на Ютуб. Спасибо за видео Руслан.
100% не новая. Когда я услышал впервые, меня вообще не удивило, я не понял в чём собственно "3D эффект". Постепенно тема раскрывалась, я узнал про HRTF и всё встало на свои места. А потом однажды я прочувствовал это 3D. Прям момент озарения :). И это ни с чем не спутать. Поэтому я понимаю и немного сочувствую тем, кто еще пока не услышал.
Ролик крутой! Работа проделана тоже колосальная! Какое то будущее у бинауральных записей есть но непонятно какое) Конечно у бинауралок очень классно с гипперреалистичностью: динамически, частотно, тембрално. Ещё и локализация по оси Y добавляется за счёт того что форма уха, головы и тела разная сверху и снизу) Надо решить нескольо проблем: 1) Мне кажется бинауральные записи нельзя микшировать со стереозаписями иначе распадается внутри мозга и бинауральный эффект и стерео эффект воспринимается неправильно. 2) В человека физиологически встроена функция прислушивания - люди прислушиваются, это когда мы чтото слушаем и делаем маленькие повороты головой или телом, даже не задумываясь об этих микро движениях, это как автоматически. Таким образом мозг анализирует трёхмерное звуковое пространство, как ведёт себя источник под разными углами и из немного разных точек
Хотелось бы добавить свои три копейки в коментарии по HRTF ) Да, безусловно форма ушей у всех людей разная и это в первую очередь влияет на восприятие характера звука, НО не на позиционирование ! ) Пространственная бинауральная локализация формируется главным образом за счёт смещения и соотношения АЧХ между правым и левым ухом и у всех людей с разными ушами оно примерно одинаковое ). Поэтому мы все примерно одинаково угадываем направление звука. Нет смысла гоняться за "золотым ухом" усредняя геометрию большой группы людей. Что касается кинопроизводства (да и не только), применения одной звукозаписи мало, ведь большинство звуков не записывается на съёмочной площадке через микрофон, а создаётся в звуковом редакторе. Поэтому здесь только цифровая модель HRTF. Большинство обработчиков\преобразователей 2D в 3D основываются на лабораторных исследованиях, как это показано в ролике 6:35 (Bruel & Kjaer type 5128) при помощи замеров источника звука вокруг стенда в фиксированном радиусе. Но у такого метода, несмотря на его эффективность, есть два существенных недостатка. 1. Отсутствие замеров в глубину 2. Постоянная величина громкости, хотя мы знаем из исследований Флетчера и Мэнсона, что кривая АЧХ меняется (причём нелинейно) при изменении громкости. Поэтому необходимо менять подход при снятии HRTF, который даст более реалистичный объём. Но это целый проект, финансы, инженеры. И ещё один важный момент. В ролике представлена гарнитура, которая задействует голову человека и казалось бы всё идеально, коэффициент отражения, геометрия. Но и тут всплыли нюансы, которые были обнаружены при прослушивании. Это недостаток глубины резкости фантомного центра (заметен на большинстве бинауральных записей с различных стендов). Но и на эту проблему уже есть решение, о котором воозможно будет рассказано чуть позже...
Только звук это не только уши, а и тело, которое принимает вибрации. Звук с этих наушников очень хороший, но в целом, если взять XY рекордер то будет что-то похожее при синхронном движении головы и рекордера
Ну, не совсем Roland, хотя внешнее сходство есть. В представленной гарнитуре корпус находится внутри слухового прохода, а у Roland снаружи. Но не суть. Вообще она разрабатывалась с целью сделать активные наушники более эргономичными и на тот момент автор даже не знал о существовании аналогичных моделей. И чтобы убедиться в эффективности, делались звукозаписи с экшн-камерой (кстати планировалось добавление второй камеры для стерео изображения). То-есть изначально не было цели устройства для бинауральной записи, просто так получилось ). Но конечно, помимо удобства использования есть и ложка дёгтя. Это прежде всего запись любого чиха, произведённого вами, особенно в тихой обстановке. Ну и ещё кое-что, что удалось обнаружить относительно недавно при создании бинауральной головы. Но об этом немного позже...
Сначала скажу про минусы, звук оооооооооочень сухой. И Момент с дорогой, когда включали звук из камеры он звучал более живо чем в бинауральном варианте. Как для меня совсем нет ощущения что я там нахожусь, и как мне кажется не хватает чувствительности, очень сжатый компрессированный звук по моему, коробочный как будто. Тот же момент когда в машине было открыто окно, ни капли не казалось что оно было открыто. По поводу хорошего, для саунд дизайна должно подойти шикарно, но именно в миксе с чем то, с музыкой например, отдельно пока что звучит сухо, как будто бы стоило доработать именно качество записи и подачу сигнала. Ещё дождь реально был силён, там было ощущение что капли ударяются прямо сверху. Вот кстати по поводу качества записи, например дуновение ветра, помню как то ходил записывал звуки с помощью микрофона который записывает в моно и телефона который записывает в стерео, вот именно телефон, как ни странно очень круто записал как машина проезжала в правом ухе из зада вперёд. И чувствовались легкие порывы ветра которые очень оживляют запись и ты действительно чувствуешь себя там. Вот. Очень крутой проект на самом деле, и интересная тема. Тоже хотел бы внести вклад в такую работу в будущем)
Отработка локализации по вертикали заметил только в месте под мостом и чуть-чуть в сцене под дождём. Микрофон принимает сигнал по прямой линии, в то время как к нам в ухо ( в его крайне сложную систему ) попадает звук под разными углами. Я думаю, что необходимо ставить 5ть микрофонов на одно ухо, где 2 - это верх и низ, 2 зад и перед, 1 это центр между ними. Возможно, но это не точно, нужна некая микро-бленда как на объективе фототехники, но это не точно.
В опознавании звука по вертикали очень сильно задействованы наши психоакустические особенности. Вертикальная локализация нашего слуха значительно хуже, чем горизонтальная. Другими словами, тут психология задействована в том числе. Если мы слышим гром, то мозг сразу напоминает нам, что этот звук доносится сверху, автоматом. Это примерно из той оперы, в которой изображение и звук на экране дополняют друг друга и усиливают эффект. Послушайте звук без картинки, и будете дезориентированы во многих случаях. И в целом звук уже не будет казаться таким шикарным.
Я пользуюсь плагином +binaural от SoundHack. Но он не для переделки из стерео в бинаурал, а скорее для звукового дизайна с нуля. Для расположения отдельных источников в пространстве, или для его вращения. Конкретно по вашему вопросу не знаю. Но плагин хороший. Он подает на вход только моно сигнал, т.е. если источник записан в стерео, он сложит оба канала в моно на входе. И дальше с моно сигналом идет панорамирование в 3Д. Правда не без косяка с моносовместимостью. Не на всем материале может звучать чисто. Дает гребенку часто. А так фазовые выкрутасы дает отличные. Практически как в реальном бинаурале. Причем он имитирует фильтрацию головы. Я использую его в сочетании с имеджером Изотоп.
Будущее определённо есть. Пока эта тема до конца не изучена, вряд ли она пойдёт в широкий оборот. Но, с совершенством этой технологии, будет всё больше внедряться в широкое пользование, а может и вовсе станет стандартом качества.
Незаслуженно мало просмотров. Если честно, даже обидно как-то.
Хорошая работа, Руслан) Красавчик)
Интересно! Спасибо
видео делал душой, видно
Это было оооооочень интересно! Спасибо огромное за видео!
Ролик душевный, видно, что над ним думали, Руслану респект! Что касается звука: ловлю себя на мысли, что прослеживается некая аналогия с 3D видео ( для создания нужна специальная техника, для монтажа и просмотра дополнительные побрякушки, что не удобно в принципе), но потенциал определенно есть, интересность есть. Осталось проследить; дожмут ли тему технически, или она заглохнет как и 3D видео?
классная работа была проделана! респект!
Благодарю!
это так круто, что я не понял как это записывали. ну колдовство же.
офигенно интересно! спасибо.
Мощная работа!💪🏼
Большой труд
Руслан, ты офигенный!!! Это круто))) Ты каждый раз своими видео вдохновляешь!!!
Спасибо, Александр! Приятно :)
Видно, что много работы сделано над роликом.
Тема в общем давно не новая. Первый раз я услышал результат работы алгоритма Cetera в аудио Virtual Haircut с барбершопом Марио и Луиджи. И честно, офигел когда услышал впервые. Кому интересно, найдите на Ютуб. Спасибо за видео Руслан.
100% не новая. Когда я услышал впервые, меня вообще не удивило, я не понял в чём собственно "3D эффект". Постепенно тема раскрывалась, я узнал про HRTF и всё встало на свои места. А потом однажды я прочувствовал это 3D. Прям момент озарения :). И это ни с чем не спутать. Поэтому я понимаю и немного сочувствую тем, кто еще пока не услышал.
Ролик крутой! Работа проделана тоже колосальная!
Какое то будущее у бинауральных записей есть но непонятно какое) Конечно у бинауралок очень классно с гипперреалистичностью: динамически, частотно, тембрално. Ещё и локализация по оси Y добавляется за счёт того что форма уха, головы и тела разная сверху и снизу)
Надо решить нескольо проблем:
1) Мне кажется бинауральные записи нельзя микшировать со стереозаписями иначе распадается внутри мозга и бинауральный эффект и стерео эффект воспринимается неправильно.
2) В человека физиологически встроена функция прислушивания - люди прислушиваются, это когда мы чтото слушаем и делаем маленькие повороты головой или телом, даже не задумываясь об этих микро движениях, это как автоматически. Таким образом мозг анализирует трёхмерное звуковое пространство, как ведёт себя источник под разными углами и из немного разных точек
Спасибо за такой развёрнутый ответ!
Хотелось бы добавить свои три копейки в коментарии по HRTF )
Да, безусловно форма ушей у всех людей разная и это в первую очередь влияет на восприятие характера звука, НО не на позиционирование ! ) Пространственная бинауральная локализация формируется главным образом за счёт смещения и соотношения АЧХ между правым и левым ухом и у всех людей с разными ушами оно примерно одинаковое ). Поэтому мы все примерно одинаково угадываем направление звука. Нет смысла гоняться за "золотым ухом" усредняя геометрию большой группы людей.
Что касается кинопроизводства (да и не только), применения одной звукозаписи мало, ведь большинство звуков не записывается на съёмочной площадке через микрофон, а создаётся в звуковом редакторе. Поэтому здесь только цифровая модель HRTF.
Большинство обработчиков\преобразователей 2D в 3D основываются на лабораторных исследованиях, как это показано в ролике 6:35 (Bruel & Kjaer type 5128) при помощи замеров источника звука вокруг стенда в фиксированном радиусе. Но у такого метода, несмотря на его эффективность, есть два существенных недостатка.
1. Отсутствие замеров в глубину
2. Постоянная величина громкости, хотя мы знаем из исследований Флетчера и Мэнсона, что кривая АЧХ меняется (причём нелинейно) при изменении громкости.
Поэтому необходимо менять подход при снятии HRTF, который даст более реалистичный объём. Но это целый проект, финансы, инженеры.
И ещё один важный момент. В ролике представлена гарнитура, которая задействует голову человека и казалось бы всё идеально, коэффициент отражения, геометрия. Но и тут всплыли нюансы, которые были обнаружены при прослушивании. Это недостаток глубины резкости фантомного центра (заметен на большинстве бинауральных записей с различных стендов).
Но и на эту проблему уже есть решение, о котором воозможно будет рассказано чуть позже...
Да. По центру, практически во всех бинауральных записях "дырка" я бы сказал.
Только звук это не только уши, а и тело, которое принимает вибрации. Звук с этих наушников очень хороший, но в целом, если взять XY рекордер то будет что-то похожее при синхронном движении головы и рекордера
В наушники нужно гироскоп встраивать, чтобы эффект максимальный был (ещё это должно сильно бустануть вертикальность).
такую гарнитуру Roland давно уже продает. Впервые еще встретил в 2018 году на мьюзик стор еще до всех санкций. хотел купить, но так и не купил.
они там в моём списке тоже показаны
Ну, не совсем Roland, хотя внешнее сходство есть.
В представленной гарнитуре корпус находится внутри слухового прохода, а у Roland снаружи. Но не суть.
Вообще она разрабатывалась с целью сделать активные наушники более эргономичными и на тот момент автор даже не знал о существовании аналогичных моделей.
И чтобы убедиться в эффективности, делались звукозаписи с экшн-камерой (кстати планировалось добавление второй камеры для стерео изображения). То-есть изначально не было цели устройства для бинауральной записи, просто так получилось ).
Но конечно, помимо удобства использования есть и ложка дёгтя. Это прежде всего запись любого чиха, произведённого вами, особенно в тихой обстановке. Ну и ещё кое-что, что удалось обнаружить относительно недавно при создании бинауральной головы.
Но об этом немного позже...
Сначала скажу про минусы, звук оооооооооочень сухой. И Момент с дорогой, когда включали звук из камеры он звучал более живо чем в бинауральном варианте. Как для меня совсем нет ощущения что я там нахожусь, и как мне кажется не хватает чувствительности, очень сжатый компрессированный звук по моему, коробочный как будто. Тот же момент когда в машине было открыто окно, ни капли не казалось что оно было открыто.
По поводу хорошего, для саунд дизайна должно подойти шикарно, но именно в миксе с чем то, с музыкой например, отдельно пока что звучит сухо, как будто бы стоило доработать именно качество записи и подачу сигнала. Ещё дождь реально был силён, там было ощущение что капли ударяются прямо сверху.
Вот кстати по поводу качества записи, например дуновение ветра, помню как то ходил записывал звуки с помощью микрофона который записывает в моно и телефона который записывает в стерео, вот именно телефон, как ни странно очень круто записал как машина проезжала в правом ухе из зада вперёд. И чувствовались легкие порывы ветра которые очень оживляют запись и ты действительно чувствуешь себя там. Вот.
Очень крутой проект на самом деле, и интересная тема. Тоже хотел бы внести вклад в такую работу в будущем)
Отработка локализации по вертикали заметил только в месте под мостом и чуть-чуть в сцене под дождём.
Микрофон принимает сигнал по прямой линии, в то время как к нам в ухо ( в его крайне сложную систему ) попадает звук под разными углами.
Я думаю, что необходимо ставить 5ть микрофонов на одно ухо, где 2 - это верх и низ, 2 зад и перед, 1 это центр между ними.
Возможно, но это не точно, нужна некая микро-бленда как на объективе фототехники, но это не точно.
В опознавании звука по вертикали очень сильно задействованы наши психоакустические особенности. Вертикальная локализация нашего слуха значительно хуже, чем горизонтальная. Другими словами, тут психология задействована в том числе. Если мы слышим гром, то мозг сразу напоминает нам, что этот звук доносится сверху, автоматом. Это примерно из той оперы, в которой изображение и звук на экране дополняют друг друга и усиливают эффект. Послушайте звук без картинки, и будете дезориентированы во многих случаях. И в целом звук уже не будет казаться таким шикарным.
Все происходит в одной плоскости
Какие есть проги, которые хорошо переделывают стерео в биноуральный звук?
Я пользуюсь плагином +binaural от SoundHack. Но он не для переделки из стерео в бинаурал, а скорее для звукового дизайна с нуля. Для расположения отдельных источников в пространстве, или для его вращения. Конкретно по вашему вопросу не знаю. Но плагин хороший. Он подает на вход только моно сигнал, т.е. если источник записан в стерео, он сложит оба канала в моно на входе. И дальше с моно сигналом идет панорамирование в 3Д. Правда не без косяка с моносовместимостью. Не на всем материале может звучать чисто. Дает гребенку часто. А так фазовые выкрутасы дает отличные. Практически как в реальном бинаурале. Причем он имитирует фильтрацию головы. Я использую его в сочетании с имеджером Изотоп.
Саунд дизайнер?
Да нет же - асмрщик.
😄