Dec, 2023

GPS 高斯：用于实时人体新视角合成的通用像素级三维高斯扩散

PDF
TL;DR通过 GPS-Gaussian 方法，我们可以实时合成一个字符的新视图，以稀疏的视图相机设置进行 2K 分辨率渲染。通过在源视图上定义高斯参数图并直接回归高斯喷洒属性，我们无需进行任何微调或优化即可实现即时的新视图合成。我们通过大量的人体扫描数据对高斯参数回归模块进行训练，同时使用深度估计模块将 2D 参数图转化为 3D 空间。实验结果表明，我们的方法在几个数据集上优于最先进的方法，同时实现了非凡的渲染速度。
发现论文，激发创造
  • FSGS: 实时少样本视图合成与高斯投影插值

    提出了基于 3D 高斯喷砂的少样本视角合成方法，通过高效地合成视图实现实时和照片般逼真的视角合成，方法称为 FSGS，通过设计精巧的高斯解卷积处理稀疏初始化的 SfM 点，通过分布新的高斯函数填补空白区域中的局部细节，在高斯优化过程中整合大规模预训练的单眼深度估计器，通过在线增强视图引导几何优化达到最优解，FSGS 在包括 LLFF、Mip-NeRF360 和 Blender 在内的各种数据集上实现了最先进的性能，包括准确性和渲染效率。

    Dec, 2023

  • 人体高斯扩散：可动化虚拟形象的实时渲染

    该研究解决了从多视角视频中学习的逼真人体化身的实时渲染问题，通过提出了基于三维高斯散点的可动态化的人体模型，相较于现有方法，在 THuman4 数据集上呈现了 1.5dbB 更好的 PSNR，并能以 20fps 或更高的速度进行渲染。

    Nov, 2023

  • GaSpCT: 高斯喷点在新型 CT 投影视图合成中的应用

    GaSpCT 是一种新颖的视图合成和 3D 场景表示方法，用于生成计算机断层扫描（CT）扫描的新颖投影视图，无需运动结构学（SfM）方法，在总体扫描时间和患者接受的辐射剂量方面减少。

    Apr, 2024

  • 高斯 - SLAM：基于高斯投射的高清稠密 SLAM

    我们提出了一种新的稠密同时定位与建图（SLAM）方法，该方法使用高斯斑点作为场景表示。该新的表示方法能够实时重建和真实渲染真实世界和合成场景，并通过提出新的策略来扩展高斯斑点的应用，使其从多视角离线场景扩展到顺序单色 RGBD 输入数据的设置。此外，我们还将高斯斑点扩展到编码几何并通过跟踪在此场景表示上进行实验。我们的方法在真实世界和合成数据集上实现了最先进的渲染质量，同时在重建性能和运行时间方面具有竞争力。

    Dec, 2023

  • SparseGS：使用高斯投影进行实时 360° 稀疏视图合成

    我们提出了一种从稀疏训练视角中训练一致的基于 3DGS 的辐射场的方法，通过集成深度先验、生成和显式约束来减少背景折叠、移除浮点值，并增强来自未见视角的一致性，实验证明我们的方法在 MipNeRF-360 数据集上以较少的训练和推理成本超过了基本的 3DGS 的 30.5% 和基于 NeRF 的方法的 15.6%。

    Nov, 2023

  • 实时动态视角合成的时空高斯特征喷洒

    提出了一种新的动态场景视图合成方法，通过引入时间、运动和旋转参数增强了三维高斯函数，使用神经特征进行渲染，同时在具有挑战性的区域中利用训练误差和粗略深度进行高分辨率、实时渲染，并保持紧凑存储。

    Dec, 2023

  • 利用高斯光疙瘩从单目视频中进行自校准的 4D 新视图合成

    通过学习高保真度的 4D 高斯点云分割场景表征，自校准相机参数，以及联合优化相机参数和 3D 结构，我们的方法在 4D 新视图合成方面展现出了显著的改进。

    Jun, 2024

  • 超点高斯飞溅实时高保真动态场景重建

    提出了一种名为 Superpoint Gaussian Splatting（SP-GS）的新框架，该框架通过使用显式的 3D 高斯函数来重构场景，并将具有相似属性的高斯函数聚类成超点，从而实现了对动态场景的实时渲染，获得了最新的视觉质量。

    Jun, 2024

  • FreeSplat: 室内场景的自由视角综合的通用化三维高斯点采样

    通过引入低成本跨视聚集、像素级三元组融合和简单有效的自由视图训练策略，我们提出了一个能够从长序列输入中重建几何一致的 3D 场景并实现自由视图合成的新方法 FreeSplat，研究结果表明其在不同数量的输入视图下，在新视图生成的颜色贴图质量和深度图准确性方面都达到了最新水平，并且 FreeSplat 的推断效率更高，能够有效减少冗余的高斯函数，为无需深度先验的大场景重建提供了可能。

    May, 2024

  • GS-SLAM：带有 3D 高斯点图的密集视觉 SLAM

    本文介绍了一种名为 GS-SLAM 的算法，它在同时定位与地图构建（SLAM）系统中首次使用了 3D 高斯表示方法，实现了效率和准确性之间的更好平衡。与使用神经隐式表示的最新 SLAM 方法相比，我们的方法采用了实时可微分雀斑光照渲染流水线，大大加速了地图优化和 RGB-D 重渲染。具体而言，我们提出了一种自适应扩张策略，通过添加新的或删除噪音 3D 高斯来有效重构新观测到的场景几何并改善先前观测区域的建图。这种策略对于将 3D 高斯表示扩展到重建整个场景而不是在现有方法中合成静态物体至关重要。此外，在位姿跟踪过程中，设计了一种有效的从粗到细的技术，以选择可靠的 3D 高斯表示来优化相机姿态，从而减少运行时间并实现强健的估计。我们的方法在 Replica 和 TUM-RGBD 数据集上与现有的最新实时方法具有竞争力的性能。源代码将在获批后发布。

    Nov, 2023