@@Artur_4_ik но думаю попытки будут, и если успешные, тогда и начнётся наплыв. Также как и с Нейроскейлерами, изначально мелкая фича, теперь ТРЕБОВАНИЕ чтобы игра работала на заявленом железе
Результат выглядит неплохо, но не хватает стабильности - каждый кадр заметно отличается в деталях от предыдущего. Для устранения этого эффекта необходимо стабилизировать видеопоток, что, в свою очередь, требует изменения архитектуры модели и её дообучения с учётом временной зависимости между кадрами. Сейчас видео больше напоминает набор отдельных изображений, объединённых общей темой и формой, но не полноценный плавный видеоряд.
Если у тебя есть ресурсы для обучения модели, лучше сразу перейти к использованию специализированных решений, таких как CogVideoX-2B, и дообучить её, вместо того чтобы тратить время на работу с stable (stream) Diffusion.
с обычным ST это неюзабельная хрень и выглядит очень артефачно, сколько разрешение не повышай шум убрать невозможно, а нейронки которые разработаны для генерации видео архитектурно просто не предназначены для того что бы генерировать видео в реалтайме. Нас в будущем скорее ждут нейрофильтры по типу анимации лиц или тому подобное, но фулл рендер нейронки ооочень не скоро сделают, если вообще сделают, потому что нет даже намека на подобную технологию, а сравнение с развитием миджорни тупо не корректное
Вот бы обновить и оптимизировать ИИ, интегрировать его в сами игровые движки - думаю, это поможет добиться графики, максимально близкой к реальной жизни
Отличная идея, но я думаю, что в будущем полигональное 3д исчезнет, все обьекты будут представлять из себя опорное облако точек, а нейронка будет допиливать детали под разрешение монитора
Вероятность того, что полигональное 3D исчезнет крайне мала. Gaussian Splatting в жизни не сможет заменить полигоны, потому что: А) делается он как фотоскан, то есть для "3D фото" подойдёт идеально, но как для чего-то динамического нет. Б) Полигоны это самый удобный и оптимизированный способ делать 3D объекты - полный контроль над сеткой и последующими операциями. Тот же CAD, который, конечно, не подразумевает под собой использование его в играх или кино, всё же гораздо менее гибкий. Мне кажется, что в будущем разве что будут оптимизировать текущие технологии, ибо смысла изобретать велосипед нет, тем более когда в наше время в играх, без нейрофильтров, можно достичь крайне реалистичной картинки в реальном времени, тот же Unrecord или Киберпанк с цветокоррекцией, конечно не без 4090)
Да, это можно применить к материалу, но тут скорее подойдёт просто stable diffusion чтоб заранее отрендерить все текстуры в материале. Надеюсь правильно понял вопрос
@@ArturSofinага. я не до конца вник в материал. спасибо. нашёл у Unity Stable diffusion integration. хотелось бы генерить/анимировать текстуры с помощью нейронки на ходу/при перезапуске программы.
Так тоже можно, я в ссылках оставил плагин, там можно не только выводить из unity, Но и в unity загружать материал по протоколу spout. Этот компонент по идеи можно накинуть на материал
Я думаю что это будет трудно реализовать сейчас для двигающихся объектов и притом генерировать картинки без перерыва. Проще будет генерировать в определённый момент вид какой-то модельки с определёнными фильтрами которые тоже нйронка будет добавлять. А так идея такого движка хорошая
Перегенерация сырого всё-таки никогда не даст стабильной картинки, на самом очень деле интересен какой-ниубдь AI-rtx, но это лютые программистские заморочки...
Сейчас многие недолюбливают пиксельные инди игры за их дешевизну. Если эта система станет популярной, то пока она не станет более совершеной, нас затопит дешевыми инди играми в подобном исполнении, и мы полюбим пиксельные инди игры
ахахх, возможно, но я люблю пиксельное мейнстримное инди. На самом деле то во всех сферах очень много людей, и это нормально. Даже когда сам начинаешь, то с первого раза сложно сделать что-то прям крутое
Я тоже их люблю и понимаю, что из-за нехватки бюджета разработчики иногда идут на компромиссы. Многие из них выглядят дёшево, но у них всегда есть лицо и чувствуется, что сделаны с душой. Я просто боюсь, что когда возможность создавать массовый, наспех слеланный контент будет доступен большинству, то индустрия изменится не в лучшую сторону
думаю на 5090 будет 60-70 фпс также можно использовать dlss 4 и ещё выкинуть все текстуры использовать карты цвета например деревья жёлтые трава синяя небо красное короче надо потанцевать с бубном
да, было бы круто использовать dlss, на самом деле есть ещё несколько вариантов ускорения этого всего, но надо быть гением кода чтоб засунуть сюда ещё различные технологии
Не думаю, что такую технологию вообще когда-либо будут применять для полноценного рендера. Результат слишком нестабильный, и даже если нейросеть улучшится и результат будет крайне хорош, то ни один домашний ПК такой нагрузки не выдержит, поэтому скорее всего можно будет только через облако играть, и платить за него каждый час... Я больше верю в то, что улучшится DLSS и генерация кадров. От последнего лично у меня вообще отвалилась челюсть, когда я опробовал это сам. Казалось бы RTX 2070 не самая мощная карта, но по итогу даже тянет рейтрейсинг в очень приятные 100 кадров, где отрендеренных всего 50. Не знаю, как оно работает, так как следующий кадр нужно предугадывать, но главное, что работает. Скорее всего стоит шустрая нейронка, так как есть незначительные артефакты время от времени. Но, считай, что тебе дают один "бесплатный" кадр к каждому "платному", на такую жертву я готов пойти) А вообще хотелось бы, чтобы нейросети развивались как инструмент, чтобы помогали технически, как в случае с тем же DLSS, потому что ни один алгоритм тебе картинку так не заапскейлит
@@jamin143 грустно что nvidia с новыми картами и dlss технологией делает только интеграцию для игр, хотелось бы чтоб это все нейронные приколы начали интегрировать в рабочий софт, типо dlss в рендере C4d, Blender, After Effects и т.п
@@Artur_4_ik это да, но в Blender вроде как анонсировали, что будут интегрировать ИИ. Тут скорее больше играет роль инициатива разработчиков софта, а дальше и поддержка от Nvidia не за горами
@@joresenurez5127 возможно, Но никто не мешает создавать собственные Lora на любимом стиле и использовать их, ну и промптами и моделями задавать стилистику генерации
В сцене с лесом достаточно хорошо можно отследить образы и детали не сказал бы, что картинка полностью состоит из мусорных артефактов. Увеличение разрешения поможет как раз в добавлении деталей, а скорость генерации уменьшает инпут лаг и улучшает восприятие. Как я и говорил, что это все ещё далеко от идеала и сравнил это с первыми версиями midjorney и dalle. Я тут больше рассказываю про технологии
@@Artur_4_ik лес это довольно абстрактный объект. Человеку пофиг, как там листочек или куст изменился за секунду. А вот несоответствие рожи персонажа на предыдущей и следующей сцене это и есть мусор. Если вам нравится потреблять мусор, то да, но большинство людей(даже гопники) имеют, всё же, какое-никакое чувство прекрасного. Иначе бы им можно было втюхать любой шлак. Вы в конце говорите о том как все вот вот будет так хорошо, но иллюстрируете свои слова не елками вашими, а видео из интернета, сами не зная сколько было потрачено сил, чтобы добиться вменяемого результата.
@@Vlasteyobя показываю технологию, любая технология с самого начала звёзд с неба не хватает, ну и контента в ру сегменте нет по stream diffusion, а это можно использовать не только для игрового "рендера".
@@Artur_4_ik Насчет влажных фантазий о полной генерации: это генераторы, основанные на картинках из интернета. Рано или поздно они упрутся в потолок по ресурсам или железа или данных. И что тогда, под дулом автомата будете заставлять людей производить контент? Если бы разработчики делали узконаправленные инструменты, тогда никто бы не заикнулся. Но они вместо этого продают мечты о светлом будущем. Ну вот елки он пока генерирует нормально. Можно колыхание кустов на ветру анимировать. Можно облачка генерировать для аниме, толпу на заднем плане. Но то, что на переднем плане не должно галлюцинировать. В вашем же портфеле нагенерированное часто галлюцинирует. Вы надеетесь, что люди тупо закроют на это глаза и будут это потреблять? С 3д анимациями в аниме,например, как то не получается-ну не хотят люди хавать такое аниме и всё тут. Тоже ведь талантливые вроде люди продвигают такое, но нет. Так что по старинке рисуют ручками. Я к тому, что художникам нужен инструмент. Вот нарисовал я лайн. Мне нужен инструмент, который раскрасит мой лайн, а не заменит мой рисунок на свой. Ваши хваленые нейроспециалисты,судя по тому, что такой инструмент так и не был сделан, даже не чешутся. А вы просто используете то, что выпало. Ну выпал вам микроскоп-значит в этот раз будете забивать гвозди микроскопом)
Надеюсь что нейронки не заменят стандартную графику в играх, иначе разработчики будут ложить ещё больший болт на разработку игр
@@StasDS скорее всего не заменят
@@Artur_4_ik но думаю попытки будут, и если успешные, тогда и начнётся наплыв. Также как и с Нейроскейлерами, изначально мелкая фича, теперь ТРЕБОВАНИЕ чтобы игра работала на заявленом железе
@@StasDS Ну кстати да, с dlss и новыми картами забавная история получается
Было бы здорово показать в конце разные варинат стиля для генерации. Но в любом случае спасибо!🙏
Потресающий! Удивительное видео
Гениально. Никогда бы не додумался до вывода с юнити в тд 😮
Да можно не только с юнити выводить, можно бесконечно придумывать различные связки
Крутое видео, спасибо! Подписка автоматом 🤙Давай больше роликов с тач дезайнером 😍
лучший, оформил подписку! Жду ещё больше видосов!
имба, продолжай в том же духе !
Ссылки:
GitHub Stream Diffusion - github.com/cumulo-autumn/StreamDiffusion
Patreon DotSumilate - www.patreon.com/dotsimulate
TouchDiffusion от Oleg Сhomp - th-cam.com/video/FbbVZ602Z_k/w-d-xo.html
Как вывести карту глубины в Unity - williamchyr.com/unity-shaders-depth-and-normal-textures/
Передача видео из Unity в TouchDesigner - github.com/keijiro/Klak
Мой Тг канал - t.me/Artur_4ik
Жду пока мощности видеокарт увеличатся в несколько раз, вижу потенциал в нейропотоке поверх игры
скорей всего в будущем весь рендер будет на нейронке
Скорее видеокарты сделают под неиронку, как 50-тая серию видюхи. Чисто отдельные ядра под нейронку.
Результат выглядит неплохо, но не хватает стабильности - каждый кадр заметно отличается в деталях от предыдущего. Для устранения этого эффекта необходимо стабилизировать видеопоток, что, в свою очередь, требует изменения архитектуры модели и её дообучения с учётом временной зависимости между кадрами.
Сейчас видео больше напоминает набор отдельных изображений, объединённых общей темой и формой, но не полноценный плавный видеоряд.
Если у тебя есть ресурсы для обучения модели, лучше сразу перейти к использованию специализированных решений, таких как CogVideoX-2B, и дообучить её, вместо того чтобы тратить время на работу с stable (stream) Diffusion.
@@py_ifmain я пока не представляю как можно использовать CogVideoX-2B под реалтайм
с обычным ST это неюзабельная хрень и выглядит очень артефачно, сколько разрешение не повышай шум убрать невозможно, а нейронки которые разработаны для генерации видео архитектурно просто не предназначены для того что бы генерировать видео в реалтайме. Нас в будущем скорее ждут нейрофильтры по типу анимации лиц или тому подобное, но фулл рендер нейронки ооочень не скоро сделают, если вообще сделают, потому что нет даже намека на подобную технологию, а сравнение с развитием миджорни тупо не корректное
Я так не думаю
Вот бы обновить и оптимизировать ИИ, интегрировать его в сами игровые движки - думаю, это поможет добиться графики, максимально близкой к реальной жизни
Подписался! Ты потрясающий!
Памятник в студию!
это просто жесть!!!
Отличная идея, но я думаю, что в будущем полигональное 3д исчезнет, все обьекты будут представлять из себя опорное облако точек, а нейронка будет допиливать детали под разрешение монитора
Вероятность того, что полигональное 3D исчезнет крайне мала. Gaussian Splatting в жизни не сможет заменить полигоны, потому что: А) делается он как фотоскан, то есть для "3D фото" подойдёт идеально, но как для чего-то динамического нет. Б) Полигоны это самый удобный и оптимизированный способ делать 3D объекты - полный контроль над сеткой и последующими операциями. Тот же CAD, который, конечно, не подразумевает под собой использование его в играх или кино, всё же гораздо менее гибкий. Мне кажется, что в будущем разве что будут оптимизировать текущие технологии, ибо смысла изобретать велосипед нет, тем более когда в наше время в играх, без нейрофильтров, можно достичь крайне реалистичной картинки в реальном времени, тот же Unrecord или Киберпанк с цветокоррекцией, конечно не без 4090)
Чел, спасибо, подписался
Кросивое интересновое
Можно это применить только к материалу или совместить с шейдерами? Рендерить вьюпорт слишком затратно и результат не предсказуем.
Да, это можно применить к материалу, но тут скорее подойдёт просто stable diffusion чтоб заранее отрендерить все текстуры в материале. Надеюсь правильно понял вопрос
@@ArturSofinага. я не до конца вник в материал. спасибо. нашёл у Unity Stable diffusion integration. хотелось бы генерить/анимировать текстуры с помощью нейронки на ходу/при перезапуске программы.
Так тоже можно, я в ссылках оставил плагин, там можно не только выводить из unity, Но и в unity загружать материал по протоколу spout. Этот компонент по идеи можно накинуть на материал
Я думаю что это будет трудно реализовать сейчас для двигающихся объектов и притом генерировать картинки без перерыва. Проще будет генерировать в определённый момент вид какой-то модельки с определёнными фильтрами которые тоже нйронка будет добавлять.
А так идея такого движка хорошая
да почему трудно, в видео же как раз пример реалтайм генерации
@Artur_4_ik говорил про трудность, что пока что не у каждого есть такое железо для разработки или что бы играть
2:05 Unreal Engine есть Fab
Перегенерация сырого всё-таки никогда не даст стабильной картинки, на самом очень деле интересен какой-ниубдь AI-rtx, но это лютые программистские заморочки...
Сейчас многие недолюбливают пиксельные инди игры за их дешевизну. Если эта система станет популярной, то пока она не станет более совершеной, нас затопит дешевыми инди играми в подобном исполнении, и мы полюбим пиксельные инди игры
ахахх, возможно, но я люблю пиксельное мейнстримное инди. На самом деле то во всех сферах очень много людей, и это нормально. Даже когда сам начинаешь, то с первого раза сложно сделать что-то прям крутое
Я тоже их люблю и понимаю, что из-за нехватки бюджета разработчики иногда идут на компромиссы. Многие из них выглядят дёшево, но у них всегда есть лицо и чувствуется, что сделаны с душой.
Я просто боюсь, что когда возможность создавать массовый, наспех слеланный контент будет доступен большинству, то индустрия изменится не в лучшую сторону
Это конец придет всей игровой индустрии. Инди проекты превзойдут ААА проекты. А игр станет так же много, как щас для телефона, платформеров.
думаю на 5090 будет 60-70 фпс также можно использовать dlss 4 и ещё выкинуть все текстуры использовать карты цвета например деревья жёлтые трава синяя небо красное короче надо потанцевать с бубном
да, было бы круто использовать dlss, на самом деле есть ещё несколько вариантов ускорения этого всего, но надо быть гением кода чтоб засунуть сюда ещё различные технологии
Нифига себе,
Прикол
мегавау!
Не думаю, что такую технологию вообще когда-либо будут применять для полноценного рендера. Результат слишком нестабильный, и даже если нейросеть улучшится и результат будет крайне хорош, то ни один домашний ПК такой нагрузки не выдержит, поэтому скорее всего можно будет только через облако играть, и платить за него каждый час... Я больше верю в то, что улучшится DLSS и генерация кадров. От последнего лично у меня вообще отвалилась челюсть, когда я опробовал это сам. Казалось бы RTX 2070 не самая мощная карта, но по итогу даже тянет рейтрейсинг в очень приятные 100 кадров, где отрендеренных всего 50. Не знаю, как оно работает, так как следующий кадр нужно предугадывать, но главное, что работает. Скорее всего стоит шустрая нейронка, так как есть незначительные артефакты время от времени. Но, считай, что тебе дают один "бесплатный" кадр к каждому "платному", на такую жертву я готов пойти)
А вообще хотелось бы, чтобы нейросети развивались как инструмент, чтобы помогали технически, как в случае с тем же DLSS, потому что ни один алгоритм тебе картинку так не заапскейлит
@@jamin143 грустно что nvidia с новыми картами и dlss технологией делает только интеграцию для игр, хотелось бы чтоб это все нейронные приколы начали интегрировать в рабочий софт, типо dlss в рендере C4d, Blender, After Effects и т.п
@@Artur_4_ik это да, но в Blender вроде как анонсировали, что будут интегрировать ИИ. Тут скорее больше играет роль инициатива разработчиков софта, а дальше и поддержка от Nvidia не за горами
✍✍✍
В нейрографике отсутствует стиль. Все сравнения показывают лишь то, насколько силен эффект зловещей долины. На данном этапе развития
@@joresenurez5127 возможно, Но никто не мешает создавать собственные Lora на любимом стиле и использовать их, ну и промптами и моделями задавать стилистику генерации
не скороть и разрешение генерации проблема))))) а картинка которая полностью состоит из одних мусорных артефактов, причем тут скорость? =)))))
В сцене с лесом достаточно хорошо можно отследить образы и детали не сказал бы, что картинка полностью состоит из мусорных артефактов. Увеличение разрешения поможет как раз в добавлении деталей, а скорость генерации уменьшает инпут лаг и улучшает восприятие. Как я и говорил, что это все ещё далеко от идеала и сравнил это с первыми версиями midjorney и dalle. Я тут больше рассказываю про технологии
@@Artur_4_ik лес это довольно абстрактный объект. Человеку пофиг, как там листочек или куст изменился за секунду. А вот несоответствие рожи персонажа на предыдущей и следующей сцене это и есть мусор. Если вам нравится потреблять мусор, то да, но большинство людей(даже гопники) имеют, всё же, какое-никакое чувство прекрасного. Иначе бы им можно было втюхать любой шлак. Вы в конце говорите о том как все вот вот будет так хорошо, но иллюстрируете свои слова не елками вашими, а видео из интернета, сами не зная сколько было потрачено сил, чтобы добиться вменяемого результата.
@@Vlasteyobя показываю технологию, любая технология с самого начала звёзд с неба не хватает, ну и контента в ру сегменте нет по stream diffusion, а это можно использовать не только для игрового "рендера".
@@Vlasteyobда и почему я не знаю сколько потрачено сил, знаю, несколько лет работы и множество профессионалов в сфере генеративного ИИ
@@Artur_4_ik Насчет влажных фантазий о полной генерации: это генераторы, основанные на картинках из интернета. Рано или поздно они упрутся в потолок по ресурсам или железа или данных. И что тогда, под дулом автомата будете заставлять людей производить контент? Если бы разработчики делали узконаправленные инструменты, тогда никто бы не заикнулся. Но они вместо этого продают мечты о светлом будущем. Ну вот елки он пока генерирует нормально. Можно колыхание кустов на ветру анимировать. Можно облачка генерировать для аниме, толпу на заднем плане. Но то, что на переднем плане не должно галлюцинировать. В вашем же портфеле нагенерированное часто галлюцинирует. Вы надеетесь, что люди тупо закроют на это глаза и будут это потреблять? С 3д анимациями в аниме,например, как то не получается-ну не хотят люди хавать такое аниме и всё тут. Тоже ведь талантливые вроде люди продвигают такое, но нет. Так что по старинке рисуют ручками.
Я к тому, что художникам нужен инструмент. Вот нарисовал я лайн. Мне нужен инструмент, который раскрасит мой лайн, а не заменит мой рисунок на свой. Ваши хваленые нейроспециалисты,судя по тому, что такой инструмент так и не был сделан, даже не чешутся. А вы просто используете то, что выпало. Ну выпал вам микроскоп-значит в этот раз будете забивать гвозди микроскопом)
🖤🪽
Господи сходи к логопеду