А где-то можно найти инструкцию, как всё это скачать и установить с нуля? Я музыкант вообще, я хотел просто небольшие анимации делать для своих треков на основе таких сцен).. Прописать где-то пару строк кода не проблема, но что, где, в каком порядке?...
@@AlexanderSemenko капец, вот я "молодец") до своего первого коммента я по ссылке скачал сами файлы в Zip, и не увидел инструкцию ниже. После вашего коммента я её увидел) Спасибо большое!
а чем это отличается от того что реализовано в Agisoft Metashape ? и существует уже 100 лет в обед? Неуверерн насчёт RealityCapture но в меташейпе 100процентов должен быть именно этот подход. Приэтом 8 минут на такую простую детализацию ненужно. И такого огромного количества фото как с тем цветком тоже. Странная новость в 22 году
Насколько я понял, различия есть: 1. NeRF и Plenoxels трактуют сцену как множество цветных вокселей (то немногое, что я видел в Меташейпе - монохромное), 2. NeRF и Plenoxels производят воксельную сцену, а не 3D ассет из треугольников 3. Это бесплатно (в отличии от $3500 или $180 за лицензию) 4. Это опенсорс, который вы можете брать за основу для своих исследований и развивать так, как вам это будет интересно (в отличие от закрытого продукта Меташейп) А так да, по сути, это одно и то же, и новость это для тех, кто пропустил Меташейп 100 лет назад 🙂
@@AlexanderSemenko спасибо. да опенсорс а не продукт это важно бесспорно. Однако если нужна просто реализация работающая то меташейп вполне себе норм. И в дешёвой лицензии точно также получаются воксели , просто это промежуточная фаза создания обьекта. (воксели можно не мешить). И сцена хранится прсото в зип архиве, воксели там в открытом формате. (юзай, нехочу). Ещё раз спасибо 4 это самое важное. А и да облако точек меташейпа цветное.
1. По поводу Metashape: По моему опыту, Metashape более чувствителен к шуму и изменению источников света. Для хорошей модели нужно примерно столько же фото, как и для Plenoxels: 60-100 в зависимости от объекта. 2. По поводу их отличия. Согласен с тем, что написал Александр. От себя лишь добавлю: вы должны понимать, что это исследование, а не готовый коммерческий проект. И цель этого исследования заключается не в том, чтобы сделать лучше/быстрее чем Metashape, а в том, чтобы представить миру новую возможность, новую технологию (пусть даже не революционную). Данный тип рендеринга является полностью дифференцируемым (если быть точнее, то функция рендеринга полностью дифференцурема, но пофиг) и этот проект представил один из самых быстрых, если не самый быстрый (на тот момент) дифференцируемый рендеринг. Т.к. рендеринг дифференцируемый, его можно использовать как основу для более продвинутых алгоритмов, например: вычисление 6D положения объекта в пространстве, вычисление BRDF функции лишь на основе фотографий и т.д. и т.п. 3. Спустя столько времени, появились новые алгоритмы дифф. нейронного рендеринга, работающие намного быстрее и не такие ресурсоемкие как Plenoxels. Для Plenoxels нужно 8 - 24GB GPU ... Советую взглянуть на NeRF HashEncoding arxiv.org/abs/2201.05989, TensoRF arxiv.org/abs/2203.09517. Эти алгоритмы интересны с точки зрения идеи и ее реализации. Может быть Александр даже сделает видео и расскажет об одном из этих алгоритмов.
Лайк. Спасибо, что рассказываете о таких проектах. Берегите себя!
А где-то можно найти инструкцию, как всё это скачать и установить с нуля? Я музыкант вообще, я хотел просто небольшие анимации делать для своих треков на основе таких сцен).. Прописать где-то пару строк кода не проблема, но что, где, в каком порядке?...
Так вот же - см. ссылку под видео: github.com/sxyu/svox2
@@AlexanderSemenko капец, вот я "молодец") до своего первого коммента я по ссылке скачал сами файлы в Zip, и не увидел инструкцию ниже. После вашего коммента я её увидел) Спасибо большое!
Пленоптический восторг!
Если использовать это следующей серии Матрицы, это будет круто
На каком языке это реализоавно?
Как я понял на питоне
И Си++ , язык общего назначения
Python, C++ для ядер CUDA
а чем это отличается от того что реализовано в Agisoft Metashape ? и существует уже 100 лет в обед? Неуверерн насчёт RealityCapture но в меташейпе 100процентов должен быть именно этот подход. Приэтом 8 минут на такую простую детализацию ненужно. И такого огромного количества фото как с тем цветком тоже. Странная новость в 22 году
Насколько я понял, различия есть:
1. NeRF и Plenoxels трактуют сцену как множество цветных вокселей (то немногое, что я видел в Меташейпе - монохромное),
2. NeRF и Plenoxels производят воксельную сцену, а не 3D ассет из треугольников
3. Это бесплатно (в отличии от $3500 или $180 за лицензию)
4. Это опенсорс, который вы можете брать за основу для своих исследований и развивать так, как вам это будет интересно (в отличие от закрытого продукта Меташейп)
А так да, по сути, это одно и то же, и новость это для тех, кто пропустил Меташейп 100 лет назад 🙂
@@AlexanderSemenko спасибо. да опенсорс а не продукт это важно бесспорно. Однако если нужна просто реализация работающая то меташейп вполне себе норм. И в дешёвой лицензии точно также получаются воксели , просто это промежуточная фаза создания обьекта. (воксели можно не мешить). И сцена хранится прсото в зип архиве, воксели там в открытом формате. (юзай, нехочу). Ещё раз спасибо 4 это самое важное. А и да облако точек меташейпа цветное.
1. По поводу Metashape: По моему опыту, Metashape более чувствителен к шуму и изменению источников света. Для хорошей модели нужно примерно столько же фото, как и для Plenoxels: 60-100 в зависимости от объекта.
2. По поводу их отличия. Согласен с тем, что написал Александр. От себя лишь добавлю: вы должны понимать, что это исследование, а не готовый коммерческий проект. И цель этого исследования заключается не в том, чтобы сделать лучше/быстрее чем Metashape, а в том, чтобы представить миру новую возможность, новую технологию (пусть даже не революционную). Данный тип рендеринга является полностью дифференцируемым (если быть точнее, то функция рендеринга полностью дифференцурема, но пофиг) и этот проект представил один из самых быстрых, если не самый быстрый (на тот момент) дифференцируемый рендеринг. Т.к. рендеринг дифференцируемый, его можно использовать как основу для более продвинутых алгоритмов, например: вычисление 6D положения объекта в пространстве, вычисление BRDF функции лишь на основе фотографий и т.д. и т.п.
3. Спустя столько времени, появились новые алгоритмы дифф. нейронного рендеринга, работающие намного быстрее и не такие ресурсоемкие как Plenoxels. Для Plenoxels нужно 8 - 24GB GPU ... Советую взглянуть на NeRF HashEncoding arxiv.org/abs/2201.05989, TensoRF arxiv.org/abs/2203.09517. Эти алгоритмы интересны с точки зрения идеи и ее реализации. Может быть Александр даже сделает видео и расскажет об одном из этих алгоритмов.