使用单个单目视频,通过引入动态高斯网格(DG-Mesh)框架,可以重建出高保真度和时态一致的网格结构,并实现动态对象的纹理编辑。
Apr, 2024
使用 GaussianPrediction 框架,结合 3D Gaussian 表示法、动态场景建模和未来场景合成等技术,实现对动态环境中未来状态的预测和渲染。
May, 2024
提出了一个使用可变形的 3D 高斯散射方法对动态场景进行重建和渲染,在实时渲染的速度和渲染质量方面优于现有方法。
Sep, 2023
使用可变形 3D 高斯方法进行动态场景重建,将高斯飞溅效果扩展以适应通过多层感知器定义的时间相关变形场的可变形高斯集合的表示,同时使用静态高斯点云允许多层感知器集中其表示能力,最终优化得到与状态最前沿的动态神经辐射场方法相媲美且具有更快的优化和渲染速度。
Dec, 2023
我们提出一种高效的神经 3D 场景表示方法,用于大规模、动态的城市地区的新视点合成 (NVS)。该方法可以适用于混合现实或闭环仿真等应用,具有较高的可视质量和交互式渲染速度。我们引入 4DGF,一种适用于大规模动态城市地区的神经场景表示方法,它可以处理异构输入数据,并显著提高渲染速度。在实验中,我们的方法的峰值信噪比 (PNSR) 超过最先进方法 3 分贝以上,渲染速度提高了 200 倍以上。
Jun, 2024
我们介绍了一种新颖的方法,可以从单目捕捉中进行动态自由视图合成,为观看体验带来沉浸感。我们的方法基于对复杂静态场景进行忠实重建的 3D 高斯点插值(3DGS)的最新进展。通过利用环境动力学的周期性来学习运动轨迹模型,并结合谨慎的正则化来克服以往将 3DGS 扩展到表示动态时遇到的局限性,这些局限性包括仅适用于有界场景或需要多摄像机捕捉,并且通常无法推广到未见过的运动,限制了它们的实际应用。我们还提出了一些重要的实用策略,以提高基线 3DGS 静态重建的视觉质量,并提高 GPU 内存密集学习的内存效率,展示了多个环境自然场景的高质量照片逼真的新视图合成,其中包含复杂的纹理和精细的结构元素。
学习使用单目视频作为输入来生成动态三维语义辐射场,其中学习到的语义辐射场捕捉每个点的语义以及颜色和几何属性,以便生成新的视图和相应的语义。通过联合优化外观和语义属性,使得该方法能够实现密集的语义三维物体跟踪,并展示了渲染快速而质量高的多样化场景结果。
通过引入 DGMaebles 方法,本研究在单目视频中扩展了 Gaussian 场景表示的能力,实现了新视角渲染和准确捕捉场景元素的三维运动,同时在质量上显著优于其他高斯基准,并与非高斯表示保持效率、合成能力、可编辑性和跟踪优势的水平。
基于高斯散开技术的稀疏控制点和稠密高斯的运动与外观分解,用于动态场景的新视角合成。
该论文介绍了一种用于建模动态城市街景的新的显式场景表示方法,其使用带有语义标签和 3D 高斯模型的点云来表示动态城市街景,从而实现了场景的编辑和生成,并且在多个数据集上表现优异。
Jan, 2024