HUGS: 通过高斯分布点绘制进行城市环境全面三维场景理解
通过将网格体积与 3D 高斯喷洒（3DGS）管道结合，提出了一种名为 HO-Gaussian 的混合优化方法，以克服使用初始结构运动（SfM）点的依赖性，从而使得在城市场景中进行渲染成为可能，并且引入了点密度化来提高在训练期间出现问题的区域的渲染质量。此外，我们引入了高斯方向编码作为渲染管道中球面调和的替代方法，从而实现了视角相关的颜色表示。为了解决多相机系统的问题，引入了神经翘曲以增强不同相机之间的物体一致性。在广泛使用的自动驾驶数据集上的实验结果表明，HO-Gaussian 在多相机城市数据集上实现了实时照片级渲染。
Mar, 2024
基于 3D 高斯喷斑的新型开放词汇场景理解方法，通过提取预训练的 2D 语义学习特征，将其融入 3D 高斯成分，并构建 3D 高斯语义网络用于快速推断，实现了在 ScanNet-20 上对语义分割的改进、对物体部分分割、场景编辑以及时空分割的多样性支持和优越性。
Mar, 2024
使用 Google Earth 图像构建了基于 3D 高斯光斑模型的滑铲三维重建模型，利用视图合成模型实现了比基于神经辐射场更好的三维视图合成结果，并通过多视图稠密重建对场景的三维几何和照明进行了重建。
May, 2024
我们提出了一种新的稠密同时定位与建图（SLAM）方法，该方法使用高斯斑点作为场景表示。该新的表示方法能够实时重建和真实渲染真实世界和合成场景，并通过提出新的策略来扩展高斯斑点的应用，使其从多视角离线场景扩展到顺序单色 RGBD 输入数据的设置。此外，我们还将高斯斑点扩展到编码几何并通过跟踪在此场景表示上进行实验。我们的方法在真实世界和合成数据集上实现了最先进的渲染质量，同时在重建性能和运行时间方面具有竞争力。
Dec, 2023
通过将外观建模与无监督训练的瞬态高斯处理相结合，有效地处理来自非结构化野外图像集合的三维场景表示方法，在多样的照片场景和户外地标的多次获取实验中，实现了改进效率和技术水平。
Mar, 2024
本文介绍了一种名为 GS-SLAM 的算法，它在同时定位与地图构建（SLAM）系统中首次使用了 3D 高斯表示方法，实现了效率和准确性之间的更好平衡。与使用神经隐式表示的最新 SLAM 方法相比，我们的方法采用了实时可微分雀斑光照渲染流水线，大大加速了地图优化和 RGB-D 重渲染。具体而言，我们提出了一种自适应扩张策略，通过添加新的或删除噪音 3D 高斯来有效重构新观测到的场景几何并改善先前观测区域的建图。这种策略对于将 3D 高斯表示扩展到重建整个场景而不是在现有方法中合成静态物体至关重要。此外，在位姿跟踪过程中，设计了一种有效的从粗到细的技术，以选择可靠的 3D 高斯表示来优化相机姿态，从而减少运行时间并实现强健的估计。我们的方法在 Replica 和 TUM-RGBD 数据集上与现有的最新实时方法具有竞争力的性能。源代码将在获批后发布。
Nov, 2023
我们提供了一个文本转 3D 360 度场景生成流水线，能够在几分钟内为野外环境创建综合的 360 度场景。我们的方法利用 2D 扩散模型的生成能力和提示自我完善来创建高质量和全局连贯的全景图像，这作为一个初步的 “平面”（2D）场景表示。随后，通过采用粒子技术将它提升到 3D 高斯函数，以实现实时浏览。为了产生一致的 3D 几何结构，我们的流水线通过将 2D 单目深度对齐成全局优化点云，构建了一个空间连贯的结构。这个点云作为 3D 高斯函数的初始状态的质心。为了解决单视角输入固有的不可见问题，我们对合成和输入相机视图应用语义和几何约束作为规范，这些约束指导高斯函数的优化，帮助重建不可见的区域。总之，我们的方法提供了一个全局一致的 360 度视角的 3D 场景，相较于现有技术提供了更加增强的沉浸式体验。项目网址：this http URL
Apr, 2024
利用 Microsoft HoloLens 2 的功能，通过实时访问所需的输入数据（图像、相机姿态和深度感知）来绕过结构运动等预处理步骤，提出了 HoloGS，一种利用 HoloLens 传感器数据的新型工作流程，以实现即时的 3D 高斯飞溅。经过全面调查和评估，结果表明 HoloLens 数据适合作为 3D 高斯飞溅的输入。
May, 2024
图像基于的三维重建是一项具有挑战性的任务，涉及从一组输入图像中推断出对象或场景的三维形状。基于学习的方法因其直接估计三维形状的能力而受到关注。本综述论文着重介绍了三维重建的最新技术，包括生成新颖未见视角的方法。论文提供了对高斯激波方法的最新发展的概述，包括输入类型、模型结构、输出表示和训练策略。未解决的挑战和未来的研究方向也得到了讨论。鉴于该领域的快速进展以及增强三维重建方法的众多机会，对算法进行全面的研究至关重要。因此，本研究全面概述了高斯激波最新进展。
May, 2024
我们引入了一种新颖的大规模场景重建基准测试，通过使用新开发的三维表示方法 —— 高斯插值法在我们广泛的 U-Scene 数据集中。U-Scene 包含了一个半平方千米以上的区域，具有综合 RGB 数据集和 LiDAR 地面真实数据。我们使用了 Matrix 300 无人机配备高精度的 Zenmuse L1 LiDAR 来获取数据，从而实现了精确的屋顶数据采集。这个数据集提供了一个独特的城市和学术环境的结合，用于高级空间分析，覆盖面积超过了 1.5km^2。我们使用高斯插值法对 U-Scene 进行了评估，并从各种新颖的视角进行了详细分析。我们还将这些结果与我们准确的点云数据集进行对比，突出了多模态信息结合的重要性。
Jan, 2024