ECCVSep, 2018

使用多视角关键点对应估计单目图像中的物体姿态

PDF
TL;DR利用物体分类内部几何规律的数据驱动姿态估计方法。首先，从 2D RGB 图像学习物体部分的姿态不变局部描述符。将这些描述符与来自固定３D 模板的关键点结合使用，生成给定单眼实际图像的关键点对应图。最后，使用这些关键点对应图，预测物体的３D 姿态。该方法在多个真实环境的视角估计数据集，如 Pascal3D + 与 ObjectNet3D 上的表现达到最佳水平，并且我们公开了所使用方法的代码以鼓励再生研究。
object pose estimation2d imagesneural networkscorrespondence maps3d structural information
发现论文，激发创造
  • 单幅 RGB 帧的基于语义关键点的姿态估算

    该论文提出了一种从单个 RGB 图像中估计物体连续 6-DoF 姿态的方法，该方法结合了经卷积网络预测的语义关键点和可变形的形状模型，同时采用了半自动数据生成技术来训练可学习组件，在实验中该方法达到了与现有技术相当的结果。

    Apr, 2022

  • 基于关键点几何推理的单目三维物体检测

    本篇研究提出了一种基于关键点的方法，利用单个 RGB 图像进行三维目标检测和定位，该网络基于 2D 关键点检测和几何推理方法，同时估计 2D 特征和全局 3D 姿态，最终在 KITTI 数据集中达到了最好的性能表现。

    May, 2019

  • 关键点预测下的目标姿态自监督学习

    本文提出了一种基于自监督学习的关键点预测方法来进行相机位姿预测及三维目标物体的在线重建的深度学习网络，并在几个数据集上进行了实验，取得了显著的改进。

    Feb, 2023

  • 基于语义关键点的六自由度物体位姿估计

    本文提出了一种新的方法，使用卷积网络 (ConvNet) 预测语义关键点结合可变形形状模型，从单张 RGB 图像中估计物体的连续六自由度 (6-DoF) 姿态 (三维平移和旋转)，可以应用于基于实例和类别的姿态恢复，且无论是纹理还是无纹理对象均可。实验结果表明，该方法可在杂乱背景下准确地恢复实例和类别物体的 6-DoF 姿态，并在大规模 PASCAL3D+ 数据集上显示出最先进的精度。

    Mar, 2017

  • 基于分割的 6D 物体姿态估计

    本文提出一种基于分割的 6D 姿态估计框架，使用关键点检测获取局部姿态预测，并根据置信度预测将这些姿态候选融合成可靠的 3D-to-2D 对应关系，从而在多个低纹理物体相互遮挡的情况下获得最优姿态估计，其采用简单且高效的架构实现实时性能。

    Dec, 2018

  • 单目视觉下联合目标检测和姿态估计综述

    本研究全面调查了使用单眼视觉的联合物体检测和姿态估计方法的景象，包括描述符或模型以及各种估计方法和对相关数据集的特征研究，比较了基于纯深度学习的单步和多步方法和各种准确度度量。

    Nov, 2018

  • 面向工业环境中多视角单目相机系统的物体姿态估计标注流水线

    在大型工业空间中，物体定位尤其是物体姿态估计对于物料流动操作至关重要。本文提供了一种在大型单目图像数据集上进行标注而无需人工劳动的方法，通过定位空间中的摄像头、将它们的位置与动作捕捉系统统一，以及使用一组线性映射将感兴趣物体的三维模型投影到其真实位置。在工业环境中的自定义数据集上测试，我们的方法能够以人工标注者所需时间的一小部分为数据集中的 26,482 个物体实例提供一致的高质量标注。

    Oct, 2023

  • 双视图胜过单视图：多视一致性下的单目三维姿态估计

    通过使用多视角数据对单目人体姿态估计模型进行微调，引入新的一致性损失函数，提升性能，从而实现对特定应用定制模型的实用和经济有效解决方案。

    Nov, 2023

  • 从多视角图像学习单目三维人体姿态估计

    本文提出了一种通过多视角的训练，使用一致性约束联合监督损失及惩罚项实现替代大量标注的 3D 人体姿态估计方法，并提出了一种联合估计相机姿态及人体姿态的方法，在 3D 人体姿态估计方面取得了良好的表现。

    Mar, 2018

  • 基于关键点的单阶段类别级别物体姿态估计

    该研究提出了一种基于关键点的方法，通过一个 RGB 图像作为输入，对已知类别内的未知目标实例进行目录级别的物体位姿估计，采用单阶段神经网络，并在 Objectron 基准测试中表现出比现有方法更好的性能

    Sep, 2021