FusionVision: 从 RGB-D 相机中使用 YOLO 和快速分割任意物体进行三维物体重建与分割的综合方法

Feb, 2024

FusionVision: 从 RGB-D 相机中使用 YOLO 和快速分割任意物体进行三维物体重建与分割的综合方法

FusionVision: A comprehensive approach of 3D object reconstruction and segmentation from RGB-D cameras using YOLO and fast segment anything

PDF

Safouane El Ghazouali, Youssef Mhirit, Ali Oukhrid, Umberto Michelucci, Hichem Nouira

TL;DR在计算机视觉领域，本论文引入了 FusionVision - 一个全面的管道，用于对 RGB-D 影像中的物体进行稳健的 3D 分割。该管道采用集成方法，将先进的目标检测技术与高级实例分割方法相结合，通过综合解释 RGB-D 数据，实现了对全面和准确的对象信息的提取，从而提高了 3D 对象分割的整体精度。

Abstract

In the realm of computer vision, the integration of advanced techniques into the processing of rgb-d camera inputs poses a significant challenge, given the inherent complexities arising from diverse environmental

computer vision rgb-d camera inputs fusionvision 3d segmentation object detection

发现论文，激发创造

3DFusion，基于实例分割流数据的实时 3D 物体重建流水线

该论文介绍了一个实时分割和重构系统，利用 RGB-D 图像生成准确而详细的物体三维模型，可以应用于增强 / 虚拟现实、室内设计、城市规划、道路辅助和安全系统等领域。通过采样连续帧以减少网络负载并确保重构质量，采用多进程 SLAM 管道实现并行三维重构，并使用了业界领先的 YOLO 框架进行实例分割，以提高性能和准确性。该系统在室内环境中建立了一个强大的实时系统，对物体分割和重构具有重要的增强效果，也可以扩展到室外场景，为实际应用开辟了众多机会。

Nov, 2023

RGB-D 物体识别的循环卷积融合

本文提出了一种称为循环卷积融合（RCFusion）的新型 RGB-D 物体识别端到端架构，能够通过组合互补的 RGB 和深度信息表示不同抽象层次的信息来生成紧凑且高度可区分的多模态特征，并在两个流行数据集上的实验中，优于现有的最先进方法。

Jun, 2018

Co-Fusion: 多目标实时分割、跟踪与融合

本文介绍了 Co-Fusion，它是一种密集型 SLAM 系统，使用实时的 RGB-D 图像流作为输入并将场景分割为不同的对象（使用运动或语义线索）同时实时跟踪和重建它们的 3D 形状。我们使用多模型拟合方法，其中每个对象可以独立移动并仍然可以有效跟踪其形状并在时间上融合它们。因此，我们的系统可以使机器人在对象层面维护场景描述，从而使其能够与其工作环境进行交互，即使场景是动态的。

Jun, 2017

RGB-D 目标检测与语义分割用于杂乱环境中的自主操作

通过利用深度融合技术和深度学习的物体检测和语义分割算法，我们成功地解决了在复杂场景中感知目标物体的问题，并在 Amazon Picking Challenge2016 和紧急响应场景数据集上进行了验证。

Oct, 2018

MaskFusion：多移动目标实时识别、追踪和重建

MaskFusion 是一种实时、对象感知、语义和动态的 RGB-D SLAM 系统，利用图像实例级语义分割创建语义对象掩码，对物体进行识别和重建，不需要已知的物体模型，发展到实现实例感知、语义和动态等增强现实应用。

Apr, 2018

使用 RGB-D 相机的多视角深度学习实现一致的语义映射

本文提出一种从多个 RGB-D 视图中进行对象类语义分割的新方法，使用深度学习训练神经网络进行预测，同时借助于 RGB-D 的 SLAM 获取摄像机轨迹，实现多视图一致性训练和测试。实验结果表明，与单视图基准线相比，深度特征池化和多视角融合可以在 NYUDv2 数据集上实现单视图语义分割和多视图语义融合的最新性能。

Mar, 2017

使用 RGB-D 融合在 DiffusionDet 框架中增强的汽车物体检测

一项基于视觉的自动驾驶需要可靠高效的对象检测的研究提出了一种 DiffusionDet 框架，该框架利用单目相机和深度传感器的数据融合来提供 RGB 和深度（RGB-D）数据，并通过在训练阶段随机重塑基准边界框，使模型学习噪声加入的相反扩散过程。通过将 RGB 图像的纹理和颜色特征与 LiDAR 传感器的空间深度信息结合起来，所提出的框架采用了特征融合，从而大大提高了汽车目标的对象检测能力。在 KITTI 数据集上进行的全面实验取得了 2.3 的 AP 增益，特别是在检测小物体方面展示了所提出方法的改进性能。

Jun, 2024

基于 RGB-D 室内数据的深度学习三维实例分割

通过将深度学习与 RGB-D 数据相结合，提出了一种用于高效 3D 实例分割的新方法，该方法通过点状渲染模块将 2D 区域卷积神经网络（Mask R-CNN）模型与深度信息集成，可以识别和分割对象的 3D 实例，实验证明该方法对于支持机器人和智能系统中的物体处理非常有益。

Jun, 2024

MoreFusion: 基于体素融合的多目标推理技术在 6D 位姿估计中的应用

提出了一种基于多视角视野的实时视觉系统，可以从单个 RGB-D 视角提出三维物体姿态建议，并且根据多个视角的姿态估计和非参数占用信息积累这些姿态估计，从而对接触的多个已知对象进行一致的、不相交的姿态估计。应用于实时机器人应用程序中，只使用机载 RGB-D 视觉，机械臂可以精确而有序地拆卸复杂的物体堆放，展示了其准确性和鲁棒性。

Apr, 2020

Fusion++: 三维物体级别 SLAM

本研究提出了一种在线物体级别 SLAM 系统，该系统通过使用 Mask-RCNN 实例分割将复杂的室内场景中的物体进行重建，没有进行内部变形，并将每个物体的信息存储在可优化的 6DoF 姿态图中，以实现高度内存效率和较高的在线性能。

Aug, 2018