Sep, 2023

通过自组织高斯混合模型实现增量多模式表面映射

PDF
TL;DR本文介绍了一种增量多模式表面映射方法，将环境表示为连续的概率模型。该方法利用高斯混合模型（GMMs）表示环境，通过空间哈希图提取 GMM 子地图，并确定点云中的相关和冗余数据，从而提高计算速度和地图的准确性。评估使用模拟和真实数据，该软件开源供机器人社区使用。
incremental multimodal surface mappingcontinuous probabilistic modelgaussian mixture models (gmms)spatial hash maprobotics community
发现论文，激发创造
  • MM-Gaussian：基于高斯函数的三维多模态融合在无界场景中的定位和重建

    在无界场景中进行定位和制图的 MM-Gaussian 多模态融合系统利用 LiDAR 和相机提供的几何结构信息解决了仅依靠视觉解决方案时遇到的深度不准确性问题，并利用 3D 高斯点云实现逼真的渲染效果。

    Apr, 2024

  • MM3DGS SLAM：多模态三维高斯着色法在 SLAM 中使用视觉、深度和惯性测量

    使用 3D 高斯地图表示方法，并结合未放置相机图像和惯性测量数据，能够实现准确的同步定位与映射（SLAM），并解决了神经辐射场表示方法的局限性，实现了更快的渲染、尺度感知和轨迹跟踪。同时，作者提供了 UT-MM 多模态数据集，经实验评估表明 MM3DGS 相比现有 3DGS SLAM 技术可以实现 3 倍的跟踪改进和 5% 的光度渲染质量提升，并且能够实现高分辨率稠密 3D 地图的实时渲染。

    Apr, 2024

  • 重点记忆：从多层遍历中产生的场景分解

    通过 3D 高斯建模，使用自监督离线地图构建方法实现了基于相机的环境建模和 2D 目标分割，利用多次遍历的自我监督学习对环境和目标进行分解，通过特征提取、特征残差挖掘和鲁棒优化实现 3D 建图和 2D 分割，验证了该方法在无人驾驶和机器人技术方面的有效性和潜力。

    May, 2024

  • 使用高斯混合树快速准确的点云配准

    本文提出了一种新的基于分层高斯混合模型 (GMM) 表征的分层多尺度点云数据表示方法，采用 GPU 并行处理计算数据分割，通过动态选择细节程度和空间分布特征来实现以上 3D 感知问题的数据关联；与之前的点云最近点迭代算法和基于 GMM 技术的算法相比，在保证 MLE 准确的前提下，实现了对数级时间的高效数据关联，能够更快速准确地处理多种类型的 3D 数据集。

    Jul, 2018

  • DeepGMR: 学习用于配准的潜在高斯混合模型

    引入了 DeepGMR 算法，该算法是首个显式利用概率注册范例的基于学习的点云配准方法，利用混合高斯模型模拟两点云之间的概率分布，通过神经网络和两个可微计算块进行配准，从而实现产生全局注册方法的目的。该方法在合成和真实数据上均表现出比几何和基于学习的配准方法更好的性能。

    Aug, 2020

  • 高斯喷洒式定位与建图

    使用单个移动单目或 RGB-D 相机，我们首次应用 3D 高斯扩散技术于增量 3D 重建。我们的同时定位与建图（SLAM）方法以高质量渲染作为所需的准确、高效跟踪和建图的唯一 3D 表示，通过几个创新实现连续重建高保真度的 3D 场景，包括通过直接优化对 3D 高斯器应用相机跟踪，利用高斯器的明确性质引入几何验证和规则化以处理增量 3D 密集重建中出现的模糊性，以及引入一个全面的 SLAM 系统，实现在新视角合成和轨迹估计中的最新结果，甚至对微小和甚至透明的物体进行重建。

    Dec, 2023

  • HGS-Mapping: 基于混合高斯表示的城市场景在线稠密地图构建

    提出了一种在无界大规模场景中的在线密集建图框架 HGS-Mapping，它引入了混合高斯表示方法，使用具有不同属性的高斯模型来对整个场景的不同部分建模，并采用混合高斯初始化机制和自适应更新方法实现高保真和快速重建，在线密集建图的同时实现了 SOTA 的重建精度，仅使用了 66% 的高斯模型数量，从而加快了 20% 的重建速度。

    Mar, 2024

  • GenMM: 视频与 LiDAR 的几何和时间一致的多模态数据生成

    多模态合成数据生成对于自动驾驶、机器人、增强 / 虚拟现实和零售等领域至关重要。我们提出了一种新颖的方法 GenMM，通过插入时间和几何一致的 3D 对象来联合编辑 RGB 视频和 LiDAR 扫描。我们的方法使用参考图像和三维边界框将新对象无缝地插入和融入目标视频。我们使用基于扩散的视频修复模型修复与三维框一致的 2D 感兴趣区域。然后，我们使用最先进的语义分割和单目深度估计技术计算对象的语义边界并估计其表面深度。随后，我们使用基于几何的优化算法恢复对象表面的 3D 形状，确保其准确适应三维边界框。最后，与新对象表面相交的 LiDAR 光线被更新以反映与其几何形状一致的深度。我们的实验证明了 GenMM 在视频和 LiDAR 模态中插入各种 3D 对象的有效性。

    Jun, 2024

  • 贝叶斯空间核平滑用于可扩展稠密语义地图

    本文提出了一种基于贝叶斯方法的连续三维语义占用地图构建方法，通过对贝叶斯内核推理模型的推广，从二进制问题到多类问题，实现了统一的概率模型和采用贝叶斯空间内核推理来提高地图构建的性能，同时在多序列数据上得到了较好的效果。

    Sep, 2019

  • MM-Point：多视图信息增强的多模态自监督 3D 点云理解

    提出一种新颖的自监督点云表示学习方法 MM-Point，通过多模态交互和传输同时处理三维物体和多个二维视图之间的一致跨模态目标，以及通过多个 MLP 和多层次增强策略来更有效地实现二维多视图信息的一致性对比学习，进一步学习了二维多视图的多层次不变性。MM-Point 在各种下游任务中展现出最先进的性能，如在合成数据集 ModelNet40 上达到了 92.4% 的峰值准确率，在真实数据集 ScanObjectNN 上达到了 87.8% 的最高准确率，与全监督方法可媲美。此外，我们还展示了它在少样本分类、三维部分分割和三维语义分割等任务中的有效性。

    Feb, 2024