MaskFusion:多移动目标实时识别、追踪和重建
本文介绍了 Co-Fusion,它是一种密集型 SLAM 系统,使用实时的 RGB-D 图像流作为输入并将场景分割为不同的对象(使用运动或语义线索)同时实时跟踪和重建它们的 3D 形状。我们使用多模型拟合方法,其中每个对象可以独立移动并仍然可以有效跟踪其形状并在时间上融合它们。因此,我们的系统可以使机器人在对象层面维护场景描述,从而使其能够与其工作环境进行交互,即使场景是动态的。
Jun, 2017
提出了一种新的基于对象级八叉树的体积表示的多实例动态 RGB-D SLAM 系统,可以在动态环境中提供强大的相机跟踪性能,并同时连续估计场景中任意对象的几何、语义和运动属性。
Dec, 2018
该论文介绍了一个实时分割和重构系统,利用 RGB-D 图像生成准确而详细的物体三维模型,可以应用于增强 / 虚拟现实、室内设计、城市规划、道路辅助和安全系统等领域。通过采样连续帧以减少网络负载并确保重构质量,采用多进程 SLAM 管道实现并行三维重构,并使用了业界领先的 YOLO 框架进行实例分割,以提高性能和准确性。该系统在室内环境中建立了一个强大的实时系统,对物体分割和重构具有重要的增强效果,也可以扩展到室外场景,为实际应用开辟了众多机会。
Nov, 2023
本研究提出了一种在线物体级别 SLAM 系统,该系统通过使用 Mask-RCNN 实例分割将复杂的室内场景中的物体进行重建,没有进行内部变形,并将每个物体的信息存储在可优化的 6DoF 姿态图中,以实现高度内存效率和较高的在线性能。
Aug, 2018
本文提出了一种基于实时语义 RGB-D SLAM 算法的方法,其能够在动态环境中检测已知和未知的运动物体,并通过仅对关键帧进行语义分割来减少计算成本,并保持静态地图以实现强健的相机跟踪,同时提出了一种有效的几何模块来检测未知的移动物体。该算法在公共数据集和实际应用场景中进行了评估,最终实现了在低功耗嵌入式平台上实时运行并能在动态环境中提供高精度的定位与跟踪。
Apr, 2021
提出了一种新的基于深度学习的语义瞬间分割技术的 RGB-D SLAM 框架 SplitFusion,该框架可以同时对场景中的刚性和非刚性组件进行跟踪和密集重构,提供了精确的环境地图和重建的非刚性目标,例如移动的人类。
Jul, 2020
基于视觉 - 语言基础模型,本研究提出了一种概率标签融合方法,用于从开放集标签测量中预测闭合集语义类别,以增强基于实例感知的语义映射;通过整合各模块构建一个统一的语义映射系统,并通过 ScanNet 和 SceneNN 数据集评估了方法的零样本性能,取得了显著优于传统方法的 40.3 均值平均精度(mAP)的结果。
Feb, 2024
提出了一种基于多视角视野的实时视觉系统,可以从单个 RGB-D 视角提出三维物体姿态建议,并且根据多个视角的姿态估计和非参数占用信息积累这些姿态估计,从而对接触的多个已知对象进行一致的、不相交的姿态估计。应用于实时机器人应用程序中,只使用机载 RGB-D 视觉,机械臂可以精确而有序地拆卸复杂的物体堆放,展示了其准确性和鲁棒性。
Apr, 2020
Open-Fusion 是一种实时的、开放词汇的 3D 地图创建方法,利用 RGB-D 数据进行场景重建,并结合预训练的视觉 - 语言模型(VLFM)和 Truncated Signed Distance Function (TSDF) 技术,实现无需额外训练的开放词汇 3D 分割,同时提供实时的场景理解和目标语义。
Oct, 2023
研究使用光流残差技术实现动态语义感知的 RGB-D 环境下的 SLAM,同时实现动静分割、相机运动估计和静态背景重建。实验证明该方法在动态和静态环境中都比现有的方法具有更高的精度和效率。
Mar, 2020