基于 Transformer 的粗细步骤的多场景姿态回归

Aug, 2023

基于 Transformer 的粗细步骤的多场景姿态回归

Coarse-to-Fine Multi-Scene Pose Regression with Transformers

Yoli Shavit, Ron Ferens, Yosi Keller

TL;DR使用 Transformers 学习多场景相机姿态回归，通过自注意力聚合激活图和变换潜在特征以及场景编码，提高了定位准确性。

Abstract

Absolute camera pose regressors estimate the position and orientation of a camera given the captured image alone. Typically, a convolutional backbone with a multi-layer perceptron (MLP) head is trained using imag

camera pose regressors convolutional backbone multi-scene absolute camera pose regression transformers localization accuracy

发现论文，激发创造

使用 Transformer 学习多场景绝对姿态回归

使用 Transformers 网络结构实现多场景相机位姿估计，相比其他模型表现更加优异。

Mar, 2021

一种轻量级的领域自适应绝对位姿回归器，使用巴洛双子目标

提出了一种面向绝对姿态回归的领域自适应训练框架，基于生成方法实现场景图像的不同领域的数据增强，并在回归头中探究了空间和通道注意力对旋转预测的有效性。结果表明，该方法在效率和性能方面都优于基于 CNN 的架构，并可适用于不同领域。

Nov, 2022

Poseur：基于 Transformer 的直接人体姿势回归

提出了一种基于 Transformer 网络的 2D 人体姿势估计方法，直接将图像转换为坐标进行回归预测，并利用自适应注意力机制来提高关键点坐标预测精度，实现了在 MS-COCO 数据集上超越同类方法的目标。

Jan, 2022

姿态估计回归的对抗转移

我们提出了一种基于迁移学习和领域自适应技术的深度适应网络，通过自监督学习获取具有场景不变性的图像表示，并将其用于摄像机姿态估计中。在 Cambridge Landmarks 和 7Scene 上的评估表明，该网络优于几个基线，并与最先进的方法进行了比较。

Jun, 2020

级联变形器进行姿态识别

本文介绍了一种使用级联 Transformer 的基于回归的姿势识别方法，利用编码器 - 解码器结构实现了人体和关键点检测的回归，通过不同自注意力层中的关键点假设改进来展示了 Transformer 中的递归自注意力机制，并与竞争的回归方法进行比较得到了有竞争力的结果。

Apr, 2021

基于 CNN 的绝对相机姿态回归的局限性理解

本研究旨在解决场景中精确的相机姿态估计的视觉定位问题，传统方法使用 3D 几何学，而新近出现的卷积神经网络则直接从输入图像中学习相机姿态，但是并未达到 3D 方法的精度。本论文提出了一种理论模型来预测 pose regression 技术的失败案例，并证实了我们的预测。作者进一步表明，pose regression 与图像检索非常相似，而不是与 3D 结构的准确姿态估计。最重要的是，当前方法并不能持续超越手工图像检索基线，因此需要进一步的研究。

Mar, 2019

SPP-Net：使用合成图像进行深度绝对姿态回归

通过稀疏特征描述符基于深度学习神经网络架构设计实现图像绝对姿态估计问题，取得了 state-of-the-art 的性能表现，同时使用这种方式的优势可以提高模型的效率和扩展性以及泛化性能。

Dec, 2017

基于地图的姿态回归视觉重定位

相对于已知环境，姿态回归网络通过预测查询图像的相机姿态。我们提出了一种新的姿态回归方法，地图相对姿态回归（marepo），通过使用场景特定的地图表示，将姿态回归器的预测相对于场景地图。我们的方法在室内和室外两个公共数据集上远远优于之前的姿态回归方法。

Apr, 2024

相机姿态自编码器 —— 改善姿态回归

本文介绍相机姿态自编码器（PAEs）的使用，在使用 APR 作为教师模型的情况下，使用教师 - 学生方法对其进行多层感知机神经网络的训练。我们表明，使用这种编码器时，可以获得与 APR 相当的姿态表示效果，并且展示了在相关任务中它们的有效性，同时提出了一种轻量级测试时间优化方法。通过对数据集 CambridgeLandmarks 和 7Scenes 的测试，该方法取得了新的最佳位置精度。

Jul, 2022

基于 Transformer 的人体姿势直接估计（TFPose）

我们提出了一种人体姿态估计框架，该框架以回归为基础，采用转换器有效地解决了姿态估计任务，使用序列预测问题的方法可以避免热图姿态估计带来的缺陷，并且通过关注机制可以适应地关注与目标关键点最相关的特征，从而大大克服了以前回归方法中存在的特征不对齐问题，而且我们的框架能够固有地利用关键点之间的结构关系，在 MS-COCO 和 MPII 数据集上的实验证明了我们的方法可以显著提高基于回归的姿态估计的最新技术水平，并且表现与最好的基于热图的姿态估计方法相当。

Mar, 2021