DeblurGS:相机运动模糊的高斯喷洒
本文主要研究了 3D 高斯喷洒(3DGS)中的常见误差源,包括模糊、不完美的相机姿态以及颜色不一致性,旨在改善其在像手持手机拍摄的实际应用中的鲁棒性。通过将运动模糊建模为相机姿态上的高斯分布,我们可以统一处理相机姿态的精炼和运动模糊矫正,并提出了解决散焦模糊补偿和解决由环境光、阴影或相机相关因素引起的颜色不一致性的机制。我们的解决方案与 3DGS 的配方无缝集成,同时保持其在训练效率和渲染速度方面的优势。通过在 Scannet++ 和 Deblur-NeRF 等相关基准数据集上进行实验证实,我们的贡献取得了最先进的结果,相对于相关基准线实现了一致的性能改进。
Apr, 2024
提出了一种新的运动感知增强框架,通过挖掘光流中的有用运动线索来改进动态场景重建,以提高不同动态 3D 高斯喷溅方式的性能,并针对基于形变的范例提出了一种瞬态感知形变辅助模块。经过广泛的实验证明,与基线相比,我们的方法在渲染质量和效率方面都表现出明显的优势。
Mar, 2024
基于高斯子图的高质量场景重建和新视图合成通常需要稳定、高质量的照片,这往往难以通过手持相机捕捉。本文提出了一种适应相机运动、能够利用受运动模糊和滚动快门衍生的手持视频数据实现高质量场景重建的方法。我们的方法基于对物理图像形成过程的详细建模,利用视觉惯性航位推测 (VIO) 所估计的速度。在单张图像帧的曝光时间内考虑相机姿态的非静态性,并在重建过程中进一步优化相机姿态。我们建立了一个可微的渲染流水线,利用屏幕空间近似有效地将滚动快门和运动模糊效应纳入 3DGS 框架。我们通过合成和真实数据的结果表明,在减轻相机运动方面,我们的方法相较于现有方法具有出色的性能,从而推动了 3DGS 在逼真场景中的应用。
Mar, 2024
使用事件相机辅助高斯投射方法 (EvaGaussians) 对模糊图像进行清晰重建,通过优化 3D-GS 参数和恢复相机运动轨迹,产生高保真度的新视图。
May, 2024
BAD-Gaussians 是一种新的方法,利用显式高斯表示和处理照相机姿势不准确的重度运动模糊图像,实现高质量的场景重建,并通过显式优化控制点云的高斯球来实现实时渲染。
Mar, 2024
我们提出了一种新颖的实时去模糊框架,利用小型多层感知机(MLP)操纵每个 3D 高斯的协方差来建模场景的模糊程度,从模糊的图像中重构出细节清晰的图像,实现实时渲染。
Jan, 2024
3D 高斯点精细喷洒(3DGS)将用于快速高质量的新视角合成,可自然延伸至多帧变形。通过将变形定义为基于每个高斯点嵌入和时间嵌入的函数,并将变形分解为粗变形和细变形以模拟缓慢和快速运动,作者解决了通过协调基于坐标的框架的错误设计所导致的准确重建动态场景的问题,并提出了一种高效训练策略以实现更快收敛和更高质量。
Apr, 2024
通过利用事件相机的高时间分辨率和显式的基于点的表示,Event3DGS 可以在快速自我运动下仅根据事件流重建高保真度的 3D 结构,并通过稀疏感知的采样和渐进训练方法获得更好的重建质量和一致性,同时通过将运动模糊形成过程显式地结合到可微分的光栅化器中,通过有限的一组模糊的 RGB 图像来改善外观。大量实验证明,与现有方法相比,Event3DGS 具有卓越的渲染质量,并且训练时间减少了 95%以上,并且在渲染速度上具有数量级的提升。
Jun, 2024
通过深度视觉特征、双关键帧选择和 3D 高斯喷洒,本文提出了一种基于三维高斯喷洒的 SLAM 方法。该方法通过特征提取和运动滤波在每一帧上实现了选择性跟踪,通过整个映射过程进行姿态和三维高斯的联合优化。此外,通过双关键特征选择和新颖的损失函数实现了粗糙到精细的姿态估计和紧凑的高斯场景表示。实验结果表明,该算法不仅在跟踪和建图方面优于现有方法,而且内存使用更少。
May, 2024
通过将 3D GS 集成到手术场景中并引入新的灵活变形建模方案(FDM),本文提出了一种名为 Deform3DGS 的快速重建框架,该框架能够在内窥镜手术中对可变形组织进行实时重建,加速手术现场重建并在临床中具有重要的临床应用价值。
May, 2024