运动感知的高斯点云成型在高效动态场景重建中的应用
通过使用 3D 高斯喷洒来优化运动模糊图像中的清晰 3D 场景，我们的方法 DeblurGS 克服了初始相机姿态获取中的不准确性并实现了最先进的去模糊和新视角合成性能。
Apr, 2024
通过利用事件相机的高时间分辨率和显式的基于点的表示，Event3DGS 可以在快速自我运动下仅根据事件流重建高保真度的 3D 结构，并通过稀疏感知的采样和渐进训练方法获得更好的重建质量和一致性，同时通过将运动模糊形成过程显式地结合到可微分的光栅化器中，通过有限的一组模糊的 RGB 图像来改善外观。大量实验证明，与现有方法相比，Event3DGS 具有卓越的渲染质量，并且训练时间减少了 95％以上，并且在渲染速度上具有数量级的提升。
Jun, 2024
本文主要研究了 3D 高斯喷洒（3DGS）中的常见误差源，包括模糊、不完美的相机姿态以及颜色不一致性，旨在改善其在像手持手机拍摄的实际应用中的鲁棒性。通过将运动模糊建模为相机姿态上的高斯分布，我们可以统一处理相机姿态的精炼和运动模糊矫正，并提出了解决散焦模糊补偿和解决由环境光、阴影或相机相关因素引起的颜色不一致性的机制。我们的解决方案与 3DGS 的配方无缝集成，同时保持其在训练效率和渲染速度方面的优势。通过在 Scannet++ 和 Deblur-NeRF 等相关基准数据集上进行实验证实，我们的贡献取得了最先进的结果，相对于相关基准线实现了一致的性能改进。
Apr, 2024
基于高斯子图的高质量场景重建和新视图合成通常需要稳定、高质量的照片，这往往难以通过手持相机捕捉。本文提出了一种适应相机运动、能够利用受运动模糊和滚动快门衍生的手持视频数据实现高质量场景重建的方法。我们的方法基于对物理图像形成过程的详细建模，利用视觉惯性航位推测 (VIO) 所估计的速度。在单张图像帧的曝光时间内考虑相机姿态的非静态性，并在重建过程中进一步优化相机姿态。我们建立了一个可微的渲染流水线，利用屏幕空间近似有效地将滚动快门和运动模糊效应纳入 3DGS 框架。我们通过合成和真实数据的结果表明，在减轻相机运动方面，我们的方法相较于现有方法具有出色的性能，从而推动了 3DGS 在逼真场景中的应用。
Mar, 2024
3D 高斯点精细喷洒（3DGS）将用于快速高质量的新视角合成，可自然延伸至多帧变形。通过将变形定义为基于每个高斯点嵌入和时间嵌入的函数，并将变形分解为粗变形和细变形以模拟缓慢和快速运动，作者解决了通过协调基于坐标的框架的错误设计所导致的准确重建动态场景的问题，并提出了一种高效训练策略以实现更快收敛和更高质量。
Apr, 2024
本文介绍了一种名为 GS-SLAM 的算法，它在同时定位与地图构建（SLAM）系统中首次使用了 3D 高斯表示方法，实现了效率和准确性之间的更好平衡。与使用神经隐式表示的最新 SLAM 方法相比，我们的方法采用了实时可微分雀斑光照渲染流水线，大大加速了地图优化和 RGB-D 重渲染。具体而言，我们提出了一种自适应扩张策略，通过添加新的或删除噪音 3D 高斯来有效重构新观测到的场景几何并改善先前观测区域的建图。这种策略对于将 3D 高斯表示扩展到重建整个场景而不是在现有方法中合成静态物体至关重要。此外，在位姿跟踪过程中，设计了一种有效的从粗到细的技术，以选择可靠的 3D 高斯表示来优化相机姿态，从而减少运行时间并实现强健的估计。我们的方法在 Replica 和 TUM-RGBD 数据集上与现有的最新实时方法具有竞争力的性能。源代码将在获批后发布。
Nov, 2023
4D 高斯喷洒是一种在动态场景下表示动态场景的新方法，通过时间切片和投影技术实现了对复杂运动和细节的建模，并在实时渲染方面取得了显著的效果和效率优势。
Feb, 2024
通过深度视觉特征、双关键帧选择和 3D 高斯喷洒，本文提出了一种基于三维高斯喷洒的 SLAM 方法。该方法通过特征提取和运动滤波在每一帧上实现了选择性跟踪，通过整个映射过程进行姿态和三维高斯的联合优化。此外，通过双关键特征选择和新颖的损失函数实现了粗糙到精细的姿态估计和紧凑的高斯场景表示。实验结果表明，该算法不仅在跟踪和建图方面优于现有方法，而且内存使用更少。
May, 2024
在本文中，我们提出了 MoDGS，这是一个新的管道，可以利用仅有的随意捕捉的单目视频生成动态场景的新视角图像。MoDGS 采用了最近的单视图深度估计方法来指导动态场景的学习，并提出了一种新的三维感知初始化方法来学习合理的变形场和新的鲁棒深度损失来指导动态场景几何结构的学习。全面的实验证明，MoDGS 能够从仅有的随意捕捉的单目视频中生成高质量的动态场景新视角图像，优于基线方法的效果显著。
Jun, 2024
Video-3DGS 是一种基于 3D 高斯雾化技术改进的视频编辑器，旨在增强零痕编辑中的时间一致性，并通过在两个阶段利用三维高斯进行视频重构和编辑来展示其有效性。
Jun, 2024