实时动态视角合成的时空高斯特征喷洒
利用特征喷溅(FeatSplat)将三维高斯场的颜色信息编码到每个高斯特征向量中,进而通过小型 MLP 解码融合的特征向量以生成 RGB 像素值,且通过叠加相机嵌入来条件解码以包含视角信息。实验证明,该方法显著提高了对训练视图之外远离的低重叠视图的新视图合成,并展示了特征向量表示的能力不仅可以生成新视图的 RGB 值,还可以生成每个像素的语义标签。
May, 2024
4D 高斯喷洒是一种在动态场景下表示动态场景的新方法,通过时间切片和投影技术实现了对复杂运动和细节的建模,并在实时渲染方面取得了显著的效果和效率优势。
Feb, 2024
从 2D 图像中重建动态 3D 场景并随时间生成多样视角是一项具有挑战性的任务,本研究提出一种基于优化一组 4D 基元的方法,以近似表示动态场景的底层时空 4D 体积,通过特定的渲染程序,制造各种时间的新视角,该方法简单灵活,适用于捕捉复杂动态场景运动,实验结果在多个基准数据集上证明了其优秀的视觉质量和高效性。
Oct, 2023
提出了一种名为 Superpoint Gaussian Splatting(SP-GS)的新框架,该框架通过使用显式的 3D 高斯函数来重构场景,并将具有相似属性的高斯函数聚类成超点,从而实现了对动态场景的实时渲染,获得了最新的视觉质量。
Jun, 2024
使用 3D 高斯原始物体来建模静态和动态 3D 场景的外观已经取得了优秀的结果。本研究提出了一种统一物理动态场景合成和由自然语言支持的丰富语义的特征平面化方法。通过将高质量的面向对象视觉语言特征整合为 3D 高斯模型,能够利用文本查询实现半自动场景分解。同时,通过基于粒子的模拟器从静态场景中合成物理动力学,通过文本查询自动分配材料属性。本研究在这一流程中消去了关键技术,以说明将携带特征的 3D 高斯模型作为外观、几何、材料属性和基于自然语言的语义的统一格式的挑战和机遇。
Apr, 2024
我们提出了三个关键要素,可实现高质量的实时(大于等于 30 帧 / 秒)1080p 分辨率的新视图合成,其中包括使用 3D 高斯函数表示场景、优化 3D 高斯函数的相关参数以准确表示场景,并开发了一种快速的可见性感知渲染算法,以加速训练并实现实时渲染。
Aug, 2023
本文提出了一种 3D 几何感知可变形高斯喷洒方法,用于动态视图合成。我们的解决方案通过显式提取和融合 3D 几何特征来实现 3D 几何感知的变形建模,从而实现改进的动态视图合成和 3D 动态重建。
Apr, 2024
4D 高斯喷洒 (4D-GS) 方法以高效率表示和呈现动态场景,通过构建有效的变形场来模拟高斯运动和形状变形,实现了高分辨率下的实时渲染,并且在保持与先前最新技术方法相当或更高质量的同时达到了 70 FPS。
Oct, 2023
我们提出了一种新的稠密同时定位与建图(SLAM)方法,该方法使用高斯斑点作为场景表示。该新的表示方法能够实时重建和真实渲染真实世界和合成场景,并通过提出新的策略来扩展高斯斑点的应用,使其从多视角离线场景扩展到顺序单色 RGBD 输入数据的设置。此外,我们还将高斯斑点扩展到编码几何并通过跟踪在此场景表示上进行实验。我们的方法在真实世界和合成数据集上实现了最先进的渲染质量,同时在重建性能和运行时间方面具有竞争力。
Dec, 2023