CVPRMar, 2023

BundleSDF：未知物体的 6 自由度神经跟踪和 3D 重建

PDF
TL;DR本研究提出了一种近实时的方法，可以从单目 RGBD 视频序列中对未知物体进行 6 自由度跟踪，并同时进行神经 3D 重建。该方法适用于任意刚体对象，即使视觉纹理基本不存在。该方法的关键在于同时学习神经对象场和姿态图优化过程，以稳健地累积信息以捕捉物体的几何和外观，而不需要其他信息和假设。本方法可以处理具有大的位姿变化，部分遮挡，无纹理表面和高光反射等挑战性序列，而且通过在 HO3D，YCBInEOAT 和 BEHAVE 数据集上的测试，证明本研究方法显著优于现有方法。
6-dof object trackingneural 3d reconstructionpose graph optimizationunknown objectpartial/full occlusion
发现论文，激发创造
  • 神经对应场用于物体姿态估计

    本文提出一种方法，通过单个 RGB 图像估计刚性物体的六自由度姿态，其中通过 3D 模型在摄像机视锥中采样三维查询点预测三维物体坐标，并借助全连接神经网络来实现神经对应场，最终使用 Kabsch-RANSAC 算法实现姿态估计，该方法在三个 BOP 数据集中都取得了最优结果。

    Jul, 2022

  • 单幅 RGB 帧的基于语义关键点的姿态估算

    该论文提出了一种从单个 RGB 图像中估计物体连续 6-DoF 姿态的方法，该方法结合了经卷积网络预测的语义关键点和可变形的形状模型，同时采用了半自动数据生成技术来训练可学习组件，在实验中该方法达到了与现有技术相当的结果。

    Apr, 2022

  • 通过 3D 模型估计跟踪未知视频对象

    本文提出一种新的方法，在视觉目标追踪方面通过 3D 形态和位姿表达，结合可微分渲染技术优化一个新型的损失函数，取得了在三个数据集上追踪刚性物体方面的最新进展。

    Apr, 2023

  • 基于语义关键点的六自由度物体位姿估计

    本文提出了一种新的方法，使用卷积网络 (ConvNet) 预测语义关键点结合可变形形状模型，从单张 RGB 图像中估计物体的连续六自由度 (6-DoF) 姿态 (三维平移和旋转)，可以应用于基于实例和类别的姿态恢复，且无论是纹理还是无纹理对象均可。实验结果表明，该方法可在杂乱背景下准确地恢复实例和类别物体的 6-DoF 姿态，并在大规模 PASCAL3D+ 数据集上显示出最先进的精度。

    Mar, 2017

  • NeuralRecon：单目视频实时一致性三维重建

    本文介绍了名为 NeuralRecon 的新型框架，可实时从单目视频中重建 3D 场景。该系统采用基于学习的 TSDF 融合模块，通过神经网络直接逐个重建局部表面，从而捕捉局部平滑性先验和全局形状先验，实现高精度，连贯和实时的表面重建。实验结果表明，该系统在准确性和速度方面均优于现有的方法。这是首个能够在实时情况下重建连贯稠密 3D 几何模型的基于学习的系统。

    Apr, 2021

  • 深度 6 - 自由度跟踪

    利用深度学习，我们提出了一种基于时间的 6 自由度跟踪方法，可在具有挑战性的真实世界数据集中实现最先进的性能，具有比现有最佳方法更准确、更鲁棒的抗遮挡性能，同时保持实时性能。在评估其效力时，我们在几个具有挑战性的 RGBD 序列上进行了评估，并通过一系列对象逐渐被遮挡的序列系统地评估了对遮挡的鲁棒性。最后，我们的方法完全是数据驱动的，不需要任何手动设计的特征：鲁棒跟踪是自动从数据中学习的。

    Mar, 2017

  • MorpheuS: 从单目 RGB-D 视频中的神经动态 360° 表面重建

    实现从单目 RGB-D 视频中对可变形物体进行高保真度的 360° 表面重建的 Neural rendering 技术的研究。

    Dec, 2023

  • BundleTrack：针对新物体的 6D 位姿跟踪，无需实例或类别级别的 3D 模型

    本文提出了一种不依赖于三维模型的 6D 姿态追踪框架，该框架利用深度学习和增强内存姿势图优化实现低漂移追踪，并在多种具有挑战性的场景下实现了优于现有方法的效果，同时具有比现有方法更少的信息需求。

    Aug, 2021

  • 密集融合：通过迭代密集融合实现 6D 物体姿态估计

    本文提出了 DenseFusion 框架，使用异构网络结构从 RGB-D 图像中估计已知物体的 6D 位姿，并通过端对端迭代位姿细化进一步提高了姿态估计的精度和实时性。实验结果表明，我们的方法在 YCB-Video 和 LineMOD 数据集上优于现有方法，并在实际机器人应用中实现了对物体的抓取和操作。

    Jan, 2019

  • Fusion++: 三维物体级别 SLAM

    本研究提出了一种在线物体级别 SLAM 系统，该系统通过使用 Mask-RCNN 实例分割将复杂的室内场景中的物体进行重建，没有进行内部变形，并将每个物体的信息存储在可优化的 6DoF 姿态图中，以实现高度内存效率和较高的在线性能。

    Aug, 2018