SA-GS:基于语义感知的高斯点渲染用于带有几何约束的大场景重构
我们引入了一种新颖的大规模场景重建基准测试,通过使用新开发的三维表示方法——高斯插值法在我们广泛的U-Scene数据集中。U-Scene包含了一个半平方千米以上的区域,具有综合RGB数据集和LiDAR地面真实数据。我们使用了Matrix 300无人机配备高精度的Zenmuse L1 LiDAR来获取数据,从而实现了精确的屋顶数据采集。这个数据集提供了一个独特的城市和学术环境的结合,用于高级空间分析,覆盖面积超过了1.5km^2。我们使用高斯插值法对U-Scene进行了评估,并从各种新颖的视角进行了详细分析。我们还将这些结果与我们准确的点云数据集进行对比,突出了多模态信息结合的重要性。
Jan, 2024
CLIP-GS integrates semantics from Contrastive Language-Image Pre-Training (CLIP) into Gaussian Splatting, utilizing Semantic Attribute Compactness (SAC) and 3D Coherent Self-training (3DCS), achieving improved segmentation results with real-time rendering speed.
Apr, 2024
提出了一种能够隐式编码场景几何结构的结构感知高斯喷洒方法 (SAGS),通过基于本地-全局图表示促进复杂场景的学习并强制保持场景几何的有意义的点位移,与现有的 3D-GS 方法相比,在渲染质量和模型大小两方面都展现出卓越的性能,能够有效减轻之前方法的浮点和图像失真问题,并获得精确的深度图。
Apr, 2024
图像基于的三维重建是一项具有挑战性的任务,涉及从一组输入图像中推断出对象或场景的三维形状。基于学习的方法因其直接估计三维形状的能力而受到关注。本综述论文着重介绍了三维重建的最新技术,包括生成新颖未见视角的方法。论文提供了对高斯激波方法的最新发展的概述,包括输入类型、模型结构、输出表示和训练策略。未解决的挑战和未来的研究方向也得到了讨论。鉴于该领域的快速进展以及增强三维重建方法的众多机会,对算法进行全面的研究至关重要。因此,本研究全面概述了高斯激波最新进展。
May, 2024
提出了一种名为Superpoint Gaussian Splatting(SP-GS)的新框架,该框架通过使用显式的3D高斯函数来重构场景,并将具有相似属性的高斯函数聚类成超点,从而实现了对动态场景的实时渲染,获得了最新的视觉质量。
Jun, 2024
通过引入基于平面的高斯点云猜测(PGSR)方法,本研究旨在实现高保真度的表面重建和高质量的渲染,以解决基于3D高斯斑点(3DGS)的重构方法中普遍存在的质量问题。实验结果表明,与基于3DGS和NeRF的方法相比,我们的方法在快速训练和渲染的同时保持了高保真度的渲染和几何重建效果。
Jun, 2024
本文提出了Splatt3R,一种无姿态、前馈的方法用于野外3D重建和新视角合成,解决了从未校准自然图像中直接预测3D高斯喷溅的问题。该方法在MASt3R的基础上进行扩展,能够同时处理3D结构和外观,相比传统方法,避免了训练3D高斯喷溅时的局部最小值。实验结果表明,Splatt3R在未校准图像上的泛化性能优异,且可实现实时渲染。
Aug, 2024
本研究解决了利用无人机影像进行大规模表面重建中3D高斯溅射方法的无结构特性带来的挑战。通过提出Aerial Gaussian Splatting(AGS)方法,结合数据分块和多视角几何一致性约束,为大规模航空影像的表面重建提供了新的解决方案。实验结果显示,AGS在几何精度上与传统大规模方法相当,并在几何和渲染质量方面超越现有先进的GS方法。
Aug, 2024
本研究针对传统3D高斯点云在航拍图像大规模表面重建中的不足,提出了一种名为“航拍高斯点云”(AGS)的新方法。该方法通过数据分块和光线-高斯交集技术,结合多视角几何一致性约束,显著提高了重建的几何一致性与精度,实验表明其在几何准确性上与传统方法相匹配。
Aug, 2024
本研究针对高斯点云渲染在编辑复杂户外场景时的局限性提出了解决方案。通过引入语义控制的高斯点云方法,研究展示了在非循环场景中分离大型场景部分的能力。最终结果表明,用户对这种新方法在视觉效果和使用体验上都给予了更高的评价。
Sep, 2024