Nov, 2023

3DFusion，基于实例分割流数据的实时 3D 物体重建流水线

PDF
TL;DR该论文介绍了一个实时分割和重构系统，利用 RGB-D 图像生成准确而详细的物体三维模型，可以应用于增强 / 虚拟现实、室内设计、城市规划、道路辅助和安全系统等领域。通过采样连续帧以减少网络负载并确保重构质量，采用多进程 SLAM 管道实现并行三维重构，并使用了业界领先的 YOLO 框架进行实例分割，以提高性能和准确性。该系统在室内环境中建立了一个强大的实时系统，对物体分割和重构具有重要的增强效果，也可以扩展到室外场景，为实际应用开辟了众多机会。
real-time segmentation3d modelsrgb-d imagesinstance segmentationobject reconstruction
发现论文，激发创造
  • FusionVision: 从 RGB-D 相机中使用 YOLO 和快速分割任意物体进行三维物体重建与分割的综合方法

    在计算机视觉领域，本论文引入了 FusionVision - 一个全面的管道，用于对 RGB-D 影像中的物体进行稳健的 3D 分割。该管道采用集成方法，将先进的目标检测技术与高级实例分割方法相结合，通过综合解释 RGB-D 数据，实现了对全面和准确的对象信息的提取，从而提高了 3D 对象分割的整体精度。

    Feb, 2024

  • Co-Fusion: 多目标实时分割、跟踪与融合

    本文介绍了 Co-Fusion，它是一种密集型 SLAM 系统，使用实时的 RGB-D 图像流作为输入并将场景分割为不同的对象（使用运动或语义线索）同时实时跟踪和重建它们的 3D 形状。我们使用多模型拟合方法，其中每个对象可以独立移动并仍然可以有效跟踪其形状并在时间上融合它们。因此，我们的系统可以使机器人在对象层面维护场景描述，从而使其能够与其工作环境进行交互，即使场景是动态的。

    Jun, 2017

  • Fusion++: 三维物体级别 SLAM

    本研究提出了一种在线物体级别 SLAM 系统，该系统通过使用 Mask-RCNN 实例分割将复杂的室内场景中的物体进行重建，没有进行内部变形，并将每个物体的信息存储在可优化的 6DoF 姿态图中，以实现高度内存效率和较高的在线性能。

    Aug, 2018

  • ArticulatedFusion: 使用单个深度相机实时重建运动、几何和分割

    本文提出了一种实时动态场景重构方法，能够在给定单个 RGB-D 相机的实时深度流情况下同时再现运动、几何和分割。我们的方法通过融合几何逐帧进行处理，并使用分割增强的节点图结构来驱动几何变形。我们提出了一种二级节点运动优化方法，并通过利用关节运动先验知识来大大减少节点运动的优化空间和物理合理的变形范围。与之前基于融合的动态场景重构方法相比，我们的实验表明，我们的方法对于切向运动和遮挡的运动都具有鲁棒性和改进的重建结果。

    Jul, 2018

  • MaskFusion：多移动目标实时识别、追踪和重建

    MaskFusion 是一种实时、对象感知、语义和动态的 RGB-D SLAM 系统，利用图像实例级语义分割创建语义对象掩码，对物体进行识别和重建，不需要已知的物体模型，发展到实现实例感知、语义和动态等增强现实应用。

    Apr, 2018

  • 基于 RGB-D 室内数据的深度学习三维实例分割

    通过将深度学习与 RGB-D 数据相结合，提出了一种用于高效 3D 实例分割的新方法，该方法通过点状渲染模块将 2D 区域卷积神经网络（Mask R-CNN）模型与深度信息集成，可以识别和分割对象的 3D 实例，实验证明该方法对于支持机器人和智能系统中的物体处理非常有益。

    Jun, 2024

  • 动态环境下的实时 SLAM 管道

    本文提出了一个新的实时 SLAM 流水线，使用 RGB-D SLAM 和 YOLO 实时物体检测来分割和去除动态场景，并构建静态场景 3D 模型。

    Mar, 2023

  • LabelFusion: 一种用于生成带混杂场景的真实 RGBD 数据地面实况标签的流程

    本文介绍了一种通过 RGBD 相机采集物体的多角度视频，结合现有的重构技术生成 3D 稠密重构，并利用人类辅助 ICP 拟合物体网格标注的方法，从而快速生成高质量的 RGBD 数据集，该数据集可用于代替现有数据集，以加强深度神经网络训练，使其在物体分割和姿态估计方面性能进一步提高。

    Jul, 2017

  • MID-Fusion: 基于八叉树的物体级多实例动态 SLAM

    提出了一种新的基于对象级八叉树的体积表示的多实例动态 RGB-D SLAM 系统，可以在动态环境中提供强大的相机跟踪性能，并同时连续估计场景中任意对象的几何、语义和运动属性。

    Dec, 2018

  • 室内场景实时渐进式 3D 语义分割

    本文提出了一种高效而健壮的技术，实现了 3D 室内场景的即时密集语义分割和重建，该方法基于高效的超体素聚类方法和来自结构和对象线索的高阶约束的条件随机场，无需预先计算即可进行渐进式密集语义分割。通过对 SceneNN 和 ScanNet 数据集中的不同室内场景进行广泛评估，证明了该技术在定性和定量实验中始终能够产生最先进的分割结果。

    Apr, 2018