Jun, 2024
建模环境场景动态以进行自由视角合成
Modeling Ambient Scene Dynamics for Free-view Synthesis
Meng-Li Shih, Jia-Bin Huang, Changil Kim, Rajvi Shah, Johannes Kopf...
TL;DR我们介绍了一种新颖的方法，可以从单目捕捉中进行动态自由视图合成，为观看体验带来沉浸感。我们的方法基于对复杂静态场景进行忠实重建的 3D 高斯点插值（3DGS）的最新进展。通过利用环境动力学的周期性来学习运动轨迹模型，并结合谨慎的正则化来克服以往将 3DGS 扩展到表示动态时遇到的局限性，这些局限性包括仅适用于有界场景或需要多摄像机捕捉，并且通常无法推广到未见过的运动，限制了它们的实际应用。我们还提出了一些重要的实用策略，以提高基线 3DGS 静态重建的视觉质量，并提高 GPU 内存密集学习的内存效率，展示了多个环境自然场景的高质量照片逼真的新视图合成，其中包含复杂的纹理和精细的结构元素。