CVPRMar, 2024

FAR：灵活、准确和稳健的 6DoF 相机相对姿态估计

PDF
TL;DR相机位姿估计的方法可以通过找到对应关系和解决基础矩阵的方式在大多数情况下提供高精度，而使用神经网络直接预测姿态的方法对于有限重叠的情况更加鲁棒，并能够推断出绝对平移尺度，但精度较低。我们展示了如何结合这两种方法的优点；我们的方法能够同时提供精确和稳健的结果，并准确推断出平移尺度。我们模型的核心是一个 Transformer，它通过学习平衡已解决和学习的姿态估计，并提供一个先验信息来指导求解器。全面的分析支持了我们的设计选择，并证明了我们的方法能够灵活适应各种特征提取器和对应估计器，在 Matterport3D、InteriorNet、StreetLearn 和 Map-free Relocalization 上展现了最先进的 6 自由度姿态估计性能。
camera posesestimationfundamental matrixneural networkstransformer
发现论文，激发创造
  • 多视角多类别物体姿态估计的统一框架

    本文介绍了一种基于深度卷积神经网络的方法，能够通过对特定对象类的分类和姿态回归，从单个或多视图中准确地推断大量对象类的六自由度姿态，并通过 SE（3）的均匀镶嵌提高了鲁棒性。作者还提出了一种适用于单视角存在歧义的高效多视图框架，并在 YCB-Video、JHUScene-50 和 ObjectNet-3D 三个大规模基准测试中取得了优异的表现，与目前现有技术相比表现优秀。

    Mar, 2018

  • 全球定位：利用相邻和远源相机的相对时空几何约束

    从单个图像中估计相对于全局框架的六自由度相机姿态的问题，我们提出了一种利用相对空间和时间几何约束的新颖网络来引导定位的深度网络的训练方法。利用相邻相机帧和场景中时空距离较远的相机帧获得的空间和时间相对姿态约束，我们的方法能够学习到在只有少量或非常稀疏的地面真实 3D 坐标可用的情况下进行定位。我们在三个常见的视觉定位数据集上评估了我们的方法，并证明其优于其他直接姿态估计方法。

    Dec, 2023

  • 如何提高基于卷积神经网络的六自由度相机姿态估计

    研究使用卷积神经网络 (CNNs) 和传递学习 (transfer learning) 进行 6 自由度 (6-DoF) 相机位姿估计，通过对数据集特征的研究改进 PoseNet 性能，尤其强调视野对图像分辨率的重要性，给出数据增强方案以减少过拟合，对 LSTM 单元的效果进行了研究，并最终结合这些修改方案优化了单目 CNN 相机姿态估计的性能。

    Sep, 2019

  • img2pose: 基于 6DoF 的人脸姿态估计，面部对齐和检测

    本文提出了一种实时的、无需面部检测或关键点定位的六自由度、三维人脸姿态估计方法，使用了 Faster R-CNN 模型将六自由度位姿回归给图像中所有的脸部，并展示了该方法在 AFLW2000-3D 和 BIWI 数据集上的优越性能。

    Dec, 2020

  • 利用 RGB 图像进行少样本泛化学习，估计 6DoF 位姿

    本研究提出一种名为 Cas6D 的级联框架，该框架对六自由度物体姿态进行少样本学习的估计，使用自监督预训练 ViT 积累鲁棒特征、用特征金字塔进一步精炼姿态和借助离散化姿态搜索范围和渐进式缩小姿态搜索范围的特性克服了 6DoF 姿态估计中的一些常见失败模式。该研究表明，相较于 OnePose ++ 和 Gen6D，在 32-shot 设定下，Cas6D 在 LINEMOD 和 GenMOP 数据集上的定位精度分别提高了 9.2％和 3.8％（Proj-5）。

    Jun, 2023

  • 基于语义关键点的六自由度物体位姿估计

    本文提出了一种新的方法，使用卷积网络 (ConvNet) 预测语义关键点结合可变形形状模型，从单张 RGB 图像中估计物体的连续六自由度 (6-DoF) 姿态 (三维平移和旋转)，可以应用于基于实例和类别的姿态恢复，且无论是纹理还是无纹理对象均可。实验结果表明，该方法可在杂乱背景下准确地恢复实例和类别物体的 6-DoF 姿态，并在大规模 PASCAL3D+ 数据集上显示出最先进的精度。

    Mar, 2017

  • 神经对应场用于物体姿态估计

    本文提出一种方法，通过单个 RGB 图像估计刚性物体的六自由度姿态，其中通过 3D 模型在摄像机视锥中采样三维查询点预测三维物体坐标，并借助全连接神经网络来实现神经对应场，最终使用 Kabsch-RANSAC 算法实现姿态估计，该方法在三个 BOP 数据集中都取得了最优结果。

    Jul, 2022

  • 单阶段 6D 物体位姿估计

    本文介绍了一种基于深度学习的 6D 姿态估计架构，能够直接从对应点回归 6D 姿态，并提出了单阶段 6D 姿态估计框架，能够在准确性和速度方面显著优于现有的双阶段框架。

    Nov, 2019

  • RelPose++：从稀疏观测中恢复 6D 姿态

    本文提出一种基于关系旋转和注意力转换层的方法来实现从稀疏视图图像集（2-8 张）中估计 6D 相机姿态的任务，并得到了在已知及未知类别的物体上都有很大改进的成果，并能够用于野外物体的姿态估计和 3D 重建。

    May, 2023

  • InLoc: 室内稠密匹配和视角合成的视觉定位

    本文研究了室内大规模定位中基于景深匹配和虚拟视图合成的视觉方法，通过收集新的大规模数据集进行实验，证明了该方法在 6DoF 姿态预测方面明显优于现有方法。

    Mar, 2018