GauFRe:用于实时动态新视角合成的高斯变形场
本文提出了一种 3D 几何感知可变形高斯喷洒方法,用于动态视图合成。我们的解决方案通过显式提取和融合 3D 几何特征来实现 3D 几何感知的变形建模,从而实现改进的动态视图合成和 3D 动态重建。
Apr, 2024
使用变形的多层感知器(MLP)网络捕捉动态偏移的高斯点并通过哈希编码和小型 MLP 来表示点的颜色特征,引入可学习的去噪掩模结合去噪损失以从场景中消除噪点,通过静态约束和运动一致性约束减轻点的运动噪声,实验证明我们的方法在渲染质量和速度上超过了现有方法,同时显著减少了与 3D-GS 相关的内存使用,非常适用于新的视角合成和动态建图等任务。
May, 2024
我们引入了高斯流(Gaussian-Flow),一种用于从多视图和单目视频中快速动态场景重建和实时渲染的新型基于点的方法。与以往基于 NeRF 的方法不同,这种方法利用了最新的基于点的 3D 高斯喷洒(3DGS)技术,通过引入新颖的双域变形模型(DDDM)来显式建模每个高斯点的属性变形,从而消除了为每个帧训练单独的 3DGS 或引入额外的隐式神经场来建模 3D 动态的需求。此外,对离散化高斯点进行显式变形建模确保了对 4D 场景的超快速训练和渲染,与用于静态 3D 重建的原始 3DGS 相当。我们的方法在效率上取得了显著的改进,训练速度比每帧 3DGS 建模快 5 倍,并且定量结果表明,我们提出的高斯流在新视图渲染质量上明显优于以往的主流方法。
Dec, 2023
我们提出一种高效的神经 3D 场景表示方法,用于大规模、动态的城市地区的新视点合成 (NVS)。该方法可以适用于混合现实或闭环仿真等应用,具有较高的可视质量和交互式渲染速度。我们引入 4DGF,一种适用于大规模动态城市地区的神经场景表示方法,它可以处理异构输入数据,并显著提高渲染速度。在实验中,我们的方法的峰值信噪比 (PNSR) 超过最先进方法 3 分贝以上,渲染速度提高了 200 倍以上。
Jun, 2024
我们提出了三个关键要素,可实现高质量的实时(大于等于 30 帧 / 秒)1080p 分辨率的新视图合成,其中包括使用 3D 高斯函数表示场景、优化 3D 高斯函数的相关参数以准确表示场景,并开发了一种快速的可见性感知渲染算法,以加速训练并实现实时渲染。
Aug, 2023
我们提出了一种新颖的实时去模糊框架,利用小型多层感知机(MLP)操纵每个 3D 高斯的协方差来建模场景的模糊程度,从模糊的图像中重构出细节清晰的图像,实现实时渲染。
Jan, 2024
提出了一种名为 Superpoint Gaussian Splatting(SP-GS)的新框架,该框架通过使用显式的 3D 高斯函数来重构场景,并将具有相似属性的高斯函数聚类成超点,从而实现了对动态场景的实时渲染,获得了最新的视觉质量。
Jun, 2024
快速可靠的形状重建是许多计算机视觉应用的关键要素。神经辐射场证明了逼真的新视角合成是可行的,但在对实景和物体进行快速重建方面要求表现。最近的几种方法基于其他形状表示,特别是 3D 高斯函数。我们对这些渲染器进行扩展,例如集成可微分光流、导出满封闭网格和按射线渲染法线。此外,我们展示了两种最近方法之间的互操作性。这些重建速度快、鲁棒,并且可以在 GPU 或 CPU 上轻松执行。详细的代码和可视化示例请参见网址:https:// 此处为网址
Aug, 2023