Oct, 2022

Vox-Fusion: 利用基于体素的神经隐式表示进行密集跟踪和建图

PDF
TL;DR本文提出了一种名为 Vox-Fusion 的密集跟踪和建图系统，其将神经隐式表示与传统体积融合方法无缝融合。该方法通过采用基于体素的神经隐式表面表示来编码和优化每个体素内部的场景，并采用基于八叉树的结构来划分场景和支持动态扩展，进而实现对任意场景的跟踪和建图。此外，我们提出了一个高性能的多进程框架来加速该方法，从而支持某些需要实时性能的应用。评估结果表明，我们的方法可以实现比先前方法更好的准确性和完整性。我们还展示了我们的 Vox-Fusion 可用于增强现实和虚拟现实应用。
发现论文，激发创造
  • Vox-Fusion++：基于体素的神经隐式密集跟踪与多地图建图

    介绍了 Vox-Fusion++，一个利用神经隐式表示和传统体积融合技术进行多地图鲁棒稠密跟踪和建图的系统，并应用于实际场景，通过综合评估表明在重建质量和准确性方面优于以往方法，可用于增强现实和协作建图应用。

    Mar, 2024

  • Open-Fusion: 实时开放词汇三维建图与可查询场景表达

    Open-Fusion 是一种实时的、开放词汇的 3D 地图创建方法，利用 RGB-D 数据进行场景重建，并结合预训练的视觉 - 语言模型（VLFM）和 Truncated Signed Distance Function (TSDF) 技术，实现无需额外训练的开放词汇 3D 分割，同时提供实时的场景理解和目标语义。

    Oct, 2023

  • VoxelNextFusion：一个简单、统一且有效的多模态三维物体检测体素融合框架

    VoxelNextFusion 是一种多模态的三维物体检测框架，通过有效地融合稀疏点云和密集图像之间的信息，解决了现有基于体素方法在稀疏和密集特征融合上的问题，从而在 KITTI 和 nuScenes 数据集上实现了 3D 物体检测的显著改进。

    Jan, 2024

  • 3D 目标检测的体素场融合技术

    提出了一种名为体素场融合的跨模态三维物体检测框架，其中采用了学习采样器从图像平面以点到射线的方式采样关键特征，并在构建的体素场中进行射线融合，进而提高了模型在各项基准测试中的性能和稳定性。

    May, 2022

  • SemanticFusion：基于卷积神经网络的密集 3D 语义地图构建

    使用卷积神经网络和密集同时定位和建图（SLAM）系统来将视觉感知转化为语义映射，实现在室内 RGB-D 视频帧之间的长期稠密对应以及在多个视点上的概率融合，从而生产有用的 3D 语义地图。

    Sep, 2016

  • HVOFusion: 使用混合体素八叉树进行增量网格重建

    这篇论文研究了增量场景重建，在提出的混合体素 - 八叉树方法中，利用了隐式表面和显式三角网格表示，以实现快速准确地重建具有逼真颜色的场景。

    Apr, 2024

  • RoutedFusion：学习实时深度地图融合

    本文提出了一种基于机器学习的实时深度图融合方法，使用 2D 深度路由网络和 3D 深度融合网络来预测非线性更新，处理传感器特定噪声和异常值，能更好地避免传统方法中的粗化伪影问题，在合成数据和真实数据中均取得了优于传统方法和相关方法的结果。

    Jan, 2020

  • 用于 3D 目标检测的密集体素融合

    提出了基于 Dense Voxel Fusion 的序列融合方法，该方法对于自主车辆应用中的 3D 物体检测具有重要意义。通过直接使用地面真实 3D 边界框标签进行训练，避免使用嘈杂的、特定于检测器的 2D 预测。DVF 在 KITTI 3D 汽车检测基准测试中排名第三，且不引入额外的可训练参数，也不需要使用立体图像或密集深度标签。此外，在 Waymo 开放数据集上，DVF 显著提高了基于体素的方法在 3D 车辆检测方面的性能。

    Mar, 2022

  • VisFusion：基于可见性的在线视频三维场景重建

    提出了一种名为 VisFusion 的可见性感知在线 3D 场景重建方法，通过对单目视频进行姿态估计来恢复场景的体量特征，并提出了细节保留的局部稀疏化方法和分层预测 TSDF 的方法，实验结果表明我们的方法能够获得卓越的性能。

    Apr, 2023

  • 神经隐式稠密语义 SLAM

    提出了一种利用神经隐式场表示解决室内场景语义 V-SLAM 问题的在线框架，并通过多项实验表明其在测试时间具有精确的跟踪、地图绘制和语义标注能力，能够扩展到 RGB 图像输入，为机器人视觉感知及相关问题提供了可行的解决方案。

    Apr, 2023