D-MiSo:使用多高斯混合体编辑动态 3D 场景
提出了一种新的运动感知增强框架,通过挖掘光流中的有用运动线索来改进动态场景重建,以提高不同动态 3D 高斯喷溅方式的性能,并针对基于形变的范例提出了一种瞬态感知形变辅助模块。经过广泛的实验证明,与基线相比,我们的方法在渲染质量和效率方面都表现出明显的优势。
Mar, 2024
提出了一种名为 Superpoint Gaussian Splatting(SP-GS)的新框架,该框架通过使用显式的 3D 高斯函数来重构场景,并将具有相似属性的高斯函数聚类成超点,从而实现了对动态场景的实时渲染,获得了最新的视觉质量。
Jun, 2024
通过将不同可分辨外观模型与显式几何表示相结合,我们提出了一种可学习的场景模型,用于准确重构包含显式几何信息的三维场景,实验结果表明,该模型不仅在渲染质量方面达到了最新水平,而且还支持使用显式网格进行操作,并且具有适应场景更新的独特优势。
May, 2024
4D 高斯喷洒是一种在动态场景下表示动态场景的新方法,通过时间切片和投影技术实现了对复杂运动和细节的建模,并在实时渲染方面取得了显著的效果和效率优势。
Feb, 2024
最近几年,引入了一系列基于神经网络的图像渲染方法。其中,被广泛研究的神经辐射场(NeRF)依靠神经网络来表示三维场景,可以从少量的二维图像中合成逼真的视图。然而,大多数 NeRF 模型在训练和推理时间上都受到限制。相比之下,高斯喷洒(GS)是一种新颖的、领先技术的渲染点的技术,通过高斯分布来近似它们对图像像素的贡献,从而保证快速训练和实时渲染。GS 的一个缺点是缺乏对其条件的明确定义,因为需要对几十万个高斯分量进行条件建模。为了解决这个问题,我们引入了高斯网格喷洒(GaMeS)模型,它是网格和高斯分布的混合形式,在物体表面(网格)上固定所有高斯喷洒。我们方法的独特之处在于,仅根据高斯喷洒在网格上的位置来定义,允许在动画过程中自动调整位置、比例和旋转。因此,我们实现了在实时生成高质量视图方面的高质量渲染。此外,我们证明在没有预定义网格的情况下,可以在学习过程中调整初始网格。
Feb, 2024
使用变形的多层感知器(MLP)网络捕捉动态偏移的高斯点并通过哈希编码和小型 MLP 来表示点的颜色特征,引入可学习的去噪掩模结合去噪损失以从场景中消除噪点,通过静态约束和运动一致性约束减轻点的运动噪声,实验证明我们的方法在渲染质量和速度上超过了现有方法,同时显著减少了与 3D-GS 相关的内存使用,非常适用于新的视角合成和动态建图等任务。
May, 2024