Apr, 2024

TCLC-GS: 紧密耦合的激光雷达 - 相机高斯投影在自动驾驶环境中的应用

PDF
TL;DR设计一种新的紧密耦合的 LiDAR-Camera 高斯扩散 (TCLC-GS) 方法，充分利用 LiDAR 和相机传感器的优势，实现快速高质量的 3D 重建和新视角 RGB / 深度合成，通过富含上下文信息的 3D 网格和隐式特征来丰富 3D 高斯扩散的属性和优化过程。
发现论文，激发创造
  • 3DGS-ReLoc: 三维高斯点云绘制用于地图表示和视觉重定位

    通过使用 3D 高斯平铺方法，结合 LiDAR 和相机数据，本研究提出了一种新颖的系统用于 3D 制图和视觉重定位，能够创造环境的准确且逼真的表示。通过利用 LiDAR 数据来初始化 3D 高斯平铺地图的训练，本系统构建了既详细又几何精确的地图。通过组合 2D 体素地图和 KD 树，以减少 GPU 内存使用和实现快速空间查询，从而使我们的方法适用于视觉定位任务，并能够通过归一化交叉相关 (NCC) 在高斯平铺地图和查询图像之间高效地识别对应关系。此外，通过基于特征匹配和透视点（PnP）技术来细化查询图像的相机姿势。通过对 KITTI360 数据集的广泛评估，证明了我们系统的有效性、适应性和精确性。

    Mar, 2024

  • GS-SLAM：带有 3D 高斯点图的密集视觉 SLAM

    本文介绍了一种名为 GS-SLAM 的算法，它在同时定位与地图构建（SLAM）系统中首次使用了 3D 高斯表示方法，实现了效率和准确性之间的更好平衡。与使用神经隐式表示的最新 SLAM 方法相比，我们的方法采用了实时可微分雀斑光照渲染流水线，大大加速了地图优化和 RGB-D 重渲染。具体而言，我们提出了一种自适应扩张策略，通过添加新的或删除噪音 3D 高斯来有效重构新观测到的场景几何并改善先前观测区域的建图。这种策略对于将 3D 高斯表示扩展到重建整个场景而不是在现有方法中合成静态物体至关重要。此外，在位姿跟踪过程中，设计了一种有效的从粗到细的技术，以选择可靠的 3D 高斯表示来优化相机姿态，从而减少运行时间并实现强健的估计。我们的方法在 Replica 和 TUM-RGBD 数据集上与现有的最新实时方法具有竞争力的性能。源代码将在获批后发布。

    Nov, 2023

  • 高斯 - SLAM：基于高斯投射的高清稠密 SLAM

    我们提出了一种新的稠密同时定位与建图（SLAM）方法，该方法使用高斯斑点作为场景表示。该新的表示方法能够实时重建和真实渲染真实世界和合成场景，并通过提出新的策略来扩展高斯斑点的应用，使其从多视角离线场景扩展到顺序单色 RGBD 输入数据的设置。此外，我们还将高斯斑点扩展到编码几何并通过跟踪在此场景表示上进行实验。我们的方法在真实世界和合成数据集上实现了最先进的渲染质量，同时在重建性能和运行时间方面具有竞争力。

    Dec, 2023

  • Octree-GS：基于 LOD 结构化三维高斯函数的一致实时渲染

    Octree-GS 是一种基于层次细节控制的 3D 高斯方法，解决了 3D-GS 在大场景、复杂细节和不同尺度下的渲染限制，并实现了实时渲染性能和高保真度的平衡。

    Mar, 2024

  • 3DGS-Calib：多模态时空校准的 3D 高斯喷涂

    基于 3D 高斯扩散渲染方法，我们提出了一种新的多模态时空校准方法 3DGS-Calib，该方法在精确性、稳健性和速度上都优于依赖于隐式神经表示方法的传统方法。我们通过对 KITTI-360 驾驶数据集的实验结果证明了我们的方法的优越性。

    Mar, 2024

  • 高斯喷洒式定位与建图

    使用单个移动单目或 RGB-D 相机，我们首次应用 3D 高斯扩散技术于增量 3D 重建。我们的同时定位与建图（SLAM）方法以高质量渲染作为所需的准确、高效跟踪和建图的唯一 3D 表示，通过几个创新实现连续重建高保真度的 3D 场景，包括通过直接优化对 3D 高斯器应用相机跟踪，利用高斯器的明确性质引入几何验证和规则化以处理增量 3D 密集重建中出现的模糊性，以及引入一个全面的 SLAM 系统，实现在新视角合成和轨迹估计中的最新结果，甚至对微小和甚至透明的物体进行重建。

    Dec, 2023

  • HUGS: 通过高斯分布点绘制进行城市环境全面三维场景理解

    基于 RGB 图像的城市场景的整体理解是一个具有挑战性但重要的问题，本文提出了一种利用三维高斯点云分布的新型管道，通过联合优化几何、外观、语义和动作，实现对城市场景的整体理解，并在实验证明了我们方法的有效性。

    Mar, 2024

  • Z-Splat：用于相机声纳融合的 Z 轴高斯喷溅

    通过使用转换数据，我们扩展了高斯喷涂算法以解决‘缺失锥体’问题，并提出了能够同时利用 RGB 相机数据和声纳数据的融合算法。通过模拟、仿真和硬件实验，我们展示了所提出的融合算法在新视图合成和 3D 几何重建方面取得了显著的改善（PSNR 提高 5dB，Chamfer 距离降低 60%）。

    Apr, 2024

  • HoloGS：基于深度的 Microsoft HoloLens 2 的 3D 高斯喷洒

    利用 Microsoft HoloLens 2 的功能，通过实时访问所需的输入数据（图像、相机姿态和深度感知）来绕过结构运动等预处理步骤，提出了 HoloGS，一种利用 HoloLens 传感器数据的新型工作流程，以实现即时的 3D 高斯飞溅。经过全面调查和评估，结果表明 HoloLens 数据适合作为 3D 高斯飞溅的输入。

    May, 2024

  • CLIP-GS：基于 CLIP 的高斯点云着色在实时和视图一致的三维语义理解中的应用

    CLIP-GS integrates semantics from Contrastive Language-Image Pre-Training (CLIP) into Gaussian Splatting, utilizing Semantic Attribute Compactness (SAC) and 3D Coherent Self-training (3DCS), achieving improved segmentation results with real-time rendering speed.

    Apr, 2024