Jul, 2020

SplitFusion: 非刚性场景的同时跟踪和建图

PDF
TL;DR提出了一种新的基于深度学习的语义瞬间分割技术的 RGB-D SLAM 框架 SplitFusion，该框架可以同时对场景中的刚性和非刚性组件进行跟踪和密集重构，提供了精确的环境地图和重建的非刚性目标，例如移动的人类。
rgb-d slamdense reconstructionsemantic instant segmentationrigid trackingnon-rigid tracking
发现论文，激发创造
  • MaskFusion：多移动目标实时识别、追踪和重建

    MaskFusion 是一种实时、对象感知、语义和动态的 RGB-D SLAM 系统，利用图像实例级语义分割创建语义对象掩码，对物体进行识别和重建，不需要已知的物体模型，发展到实现实例感知、语义和动态等增强现实应用。

    Apr, 2018

  • Co-Fusion: 多目标实时分割、跟踪与融合

    本文介绍了 Co-Fusion，它是一种密集型 SLAM 系统，使用实时的 RGB-D 图像流作为输入并将场景分割为不同的对象（使用运动或语义线索）同时实时跟踪和重建它们的 3D 形状。我们使用多模型拟合方法，其中每个对象可以独立移动并仍然可以有效跟踪其形状并在时间上融合它们。因此，我们的系统可以使机器人在对象层面维护场景描述，从而使其能够与其工作环境进行交互，即使场景是动态的。

    Jun, 2017

  • 3DFusion，基于实例分割流数据的实时 3D 物体重建流水线

    该论文介绍了一个实时分割和重构系统，利用 RGB-D 图像生成准确而详细的物体三维模型，可以应用于增强 / 虚拟现实、室内设计、城市规划、道路辅助和安全系统等领域。通过采样连续帧以减少网络负载并确保重构质量，采用多进程 SLAM 管道实现并行三维重构，并使用了业界领先的 YOLO 框架进行实例分割，以提高性能和准确性。该系统在室内环境中建立了一个强大的实时系统，对物体分割和重构具有重要的增强效果，也可以扩展到室外场景，为实际应用开辟了众多机会。

    Nov, 2023

  • ArticulatedFusion: 使用单个深度相机实时重建运动、几何和分割

    本文提出了一种实时动态场景重构方法，能够在给定单个 RGB-D 相机的实时深度流情况下同时再现运动、几何和分割。我们的方法通过融合几何逐帧进行处理，并使用分割增强的节点图结构来驱动几何变形。我们提出了一种二级节点运动优化方法，并通过利用关节运动先验知识来大大减少节点运动的优化空间和物理合理的变形范围。与之前基于融合的动态场景重构方法相比，我们的实验表明，我们的方法对于切向运动和遮挡的运动都具有鲁棒性和改进的重建结果。

    Jul, 2018

  • 基于光流的动态稠密 RGB-D SLAM 系统 FlowFusion

    研究使用光流残差技术实现动态语义感知的 RGB-D 环境下的 SLAM，同时实现动静分割、相机运动估计和静态背景重建。实验证明该方法在动态和静态环境中都比现有的方法具有更高的精度和效率。

    Mar, 2020

  • SemanticFusion：基于卷积神经网络的密集 3D 语义地图构建

    使用卷积神经网络和密集同时定位和建图（SLAM）系统来将视觉感知转化为语义映射，实现在室内 RGB-D 视频帧之间的长期稠密对应以及在多个视点上的概率融合，从而生产有用的 3D 语义地图。

    Sep, 2016

  • 单目 SLAM 的半稠密三维语义映射

    本论文将最新的深度学习方法与基于视频流的半稠密 SLAM 相结合，在室内 / 室外数据集中得到了更好的 2D 语义标签识别，无需针对序列中的每一帧获得语义分割，其时间复杂度也得以合理控制。

    Nov, 2016

  • 神经隐式稠密语义 SLAM

    提出了一种利用神经隐式场表示解决室内场景语义 V-SLAM 问题的在线框架，并通过多项实验表明其在测试时间具有精确的跟踪、地图绘制和语义标注能力，能够扩展到 RGB 图像输入，为机器人视觉感知及相关问题提供了可行的解决方案。

    Apr, 2023

  • MID-Fusion: 基于八叉树的物体级多实例动态 SLAM

    提出了一种新的基于对象级八叉树的体积表示的多实例动态 RGB-D SLAM 系统，可以在动态环境中提供强大的相机跟踪性能，并同时连续估计场景中任意对象的几何、语义和运动属性。

    Dec, 2018

  • DeepDeform: 半监督学习非刚性 RGB-D 重建

    利用数据驱动的方法进行三维重建非常困难，本文通过引入新的半监督策略，成功建立了一个拥有 400 个场景、超过 390,000 个 RGB-D 帧和 5,533 个面对面对齐帧对的数据集，然后利用这个数据集，提出了一个能够应对非常大的非刚性形变的深度学习方法，对比于其他方法，我们的结果优于现有的方法。

    Dec, 2019