Free-SurGS:无 SFPM 的手术场景重建中的三维高斯散点法
提出了一种新的运动感知增强框架,通过挖掘光流中的有用运动线索来改进动态场景重建,以提高不同动态 3D 高斯喷溅方式的性能,并针对基于形变的范例提出了一种瞬态感知形变辅助模块。经过广泛的实验证明,与基线相比,我们的方法在渲染质量和效率方面都表现出明显的优势。
Mar, 2024
通过将 3D GS 集成到手术场景中并引入新的灵活变形建模方案(FDM),本文提出了一种名为 Deform3DGS 的快速重建框架,该框架能够在内窥镜手术中对可变形组织进行实时重建,加速手术现场重建并在临床中具有重要的临床应用价值。
May, 2024
提出了基于 3D 高斯喷砂的少样本视角合成方法,通过高效地合成视图实现实时和照片般逼真的视角合成,方法称为 FSGS,通过设计精巧的高斯解卷积处理稀疏初始化的 SfM 点,通过分布新的高斯函数填补空白区域中的局部细节,在高斯优化过程中整合大规模预训练的单眼深度估计器,通过在线增强视图引导几何优化达到最优解,FSGS 在包括 LLFF、Mip-NeRF360 和 Blender 在内的各种数据集上实现了最先进的性能,包括准确性和渲染效率。
Dec, 2023
本文介绍了一种名为 GS-SLAM 的算法,它在同时定位与地图构建(SLAM)系统中首次使用了 3D 高斯表示方法,实现了效率和准确性之间的更好平衡。与使用神经隐式表示的最新 SLAM 方法相比,我们的方法采用了实时可微分雀斑光照渲染流水线,大大加速了地图优化和 RGB-D 重渲染。具体而言,我们提出了一种自适应扩张策略,通过添加新的或删除噪音 3D 高斯来有效重构新观测到的场景几何并改善先前观测区域的建图。这种策略对于将 3D 高斯表示扩展到重建整个场景而不是在现有方法中合成静态物体至关重要。此外,在位姿跟踪过程中,设计了一种有效的从粗到细的技术,以选择可靠的 3D 高斯表示来优化相机姿态,从而减少运行时间并实现强健的估计。我们的方法在 Replica 和 TUM-RGBD 数据集上与现有的最新实时方法具有竞争力的性能。源代码将在获批后发布。
Nov, 2023
使用单个移动单目或 RGB-D 相机,我们首次应用 3D 高斯扩散技术于增量 3D 重建。我们的同时定位与建图(SLAM)方法以高质量渲染作为所需的准确、高效跟踪和建图的唯一 3D 表示,通过几个创新实现连续重建高保真度的 3D 场景,包括通过直接优化对 3D 高斯器应用相机跟踪,利用高斯器的明确性质引入几何验证和规则化以处理增量 3D 密集重建中出现的模糊性,以及引入一个全面的 SLAM 系统,实现在新视角合成和轨迹估计中的最新结果,甚至对微小和甚至透明的物体进行重建。
Dec, 2023
通过引入轻量级 4D 高斯光斑框架(LGS),该研究解决了在资源有限的手术设备中妨碍实时渲染的存储问题,并在动态内窥镜重建中展现出较高的压缩率、良好的视觉质量和实时渲染效率。
Jun, 2024
通过引入低成本跨视聚集、像素级三元组融合和简单有效的自由视图训练策略,我们提出了一个能够从长序列输入中重建几何一致的 3D 场景并实现自由视图合成的新方法 FreeSplat,研究结果表明其在不同数量的输入视图下,在新视图生成的颜色贴图质量和深度图准确性方面都达到了最新水平,并且 FreeSplat 的推断效率更高,能够有效减少冗余的高斯函数,为无需深度先验的大场景重建提供了可能。
May, 2024
通过将神经有向距离场(SDF)与三维高斯光斑(3DGS)相结合,我们提出了一个统一的优化框架,用于在室内场景中进行高质量的重建和实时速度的渲染。
May, 2024
提出了一种名为 Superpoint Gaussian Splatting(SP-GS)的新框架,该框架通过使用显式的 3D 高斯函数来重构场景,并将具有相似属性的高斯函数聚类成超点,从而实现了对动态场景的实时渲染,获得了最新的视觉质量。
Jun, 2024
3D 高斯喷洒(3DGS)在 3D 场景重建方面表现出无与伦比的优越性能,然而,3DGS 在很大程度上依赖于清晰的图像。为解决这些挑战,我们提出了 Spike 高斯喷洒(SpikeGS)框架,首次将尖峰流集成到 3DGS 流程中,通过快动态的生物启发相机来重建 3D 场景。通过积累栅格化、间隔监督和特别设计的流程,SpikeGS 从高时间分辨率但缺乏纹理的尖峰流中提取详细的几何和纹理,能够在 1 秒内重构捕获的 3D 场景。对多个合成和真实世界数据集的大量实验证明了 SpikeGS 相对于现有基于尖峰流和去模糊的 3D 场景重建方法的优越性。源代码和数据即将发布。
Jul, 2024