Mar, 2021

使用 Transformer 进行端到端可训练的多实例姿态估计

PDF
TL;DR本研究提出了一种称为 POET（POse Estimation Transformer）的端到端可训练的多实例姿态估计方法，通过将卷积神经网络与变压器编解码器结合，直接将多实例姿态估计从图像中预测出来。我们使用一种新的全局集合损失来训练 POET，包括关键点损失，可见性损失和类别损失，证明其在 COCO 关键点检测任务上具有高精度和高速度。此外，我们还展示了将 POET 应用于动物姿态估计时的成功迁移学习。这是第一个端到端可训练的多实例姿态估计方法，是一个有前途的替代方法。
发现论文，激发创造
  • Poseur：基于 Transformer 的直接人体姿势回归

    提出了一种基于 Transformer 网络的 2D 人体姿势估计方法，直接将图像转换为坐标进行回归预测，并利用自适应注意力机制来提高关键点坐标预测精度，实现了在 MS-COCO 数据集上超越同类方法的目标。

    Jan, 2022

  • YOLOPose V2：基于 Transformer 的 6D 姿态估计的理解与改进

    基于 Transformer 的 YOLOPose 模型通过关键点回归和改进的方式实现多目标 6D 姿态估计，适用于实时应用，并达到与最先进方法相媲美的效果。

    Jul, 2023

  • 基于 Transformer 的人体姿势直接估计（TFPose）

    我们提出了一种人体姿态估计框架，该框架以回归为基础，采用转换器有效地解决了姿态估计任务，使用序列预测问题的方法可以避免热图姿态估计带来的缺陷，并且通过关注机制可以适应地关注与目标关键点最相关的特征，从而大大克服了以前回归方法中存在的特征不对齐问题，而且我们的框架能够固有地利用关键点之间的结构关系，在 MS-COCO 和 MPII 数据集上的实验证明了我们的方法可以显著提高基于回归的姿态估计的最新技术水平，并且表现与最好的基于热图的姿态估计方法相当。

    Mar, 2021

  • 用 Transformer 实现姿态作为查询：图像到 LiDAR 地图的定位

    本研究提出一种新型的基于 Transformer 的神经网络，可以在 end-to-end 的情况下将 2D 图像注册到 3D LiDAR 地图中进行车辆定位，达到了一定的准确度和实用性。

    May, 2023

  • DirectPose：直接端到端的多人姿势估计

    提出了第一个直接的端到端多人姿态估计框架，称为 DirectPose，使用新的关键点对齐机制 (KPAlign)，该机制提高了准确性，并消除了需在底部向上方法中处理的启发式分组或在自顶向下方法中进行边界框检测和 RoI 操作。实验证明，这一端到端模式在人体姿态估计任务中可以达到与之前强大基线相媲美或更好的表现。

    Nov, 2019

  • 群组姿势：一种简单的端到端多人姿势估计的基线

    通过简单且有效的 Transformer 方法，命名为 Group Pose，我们研究了无人工盒监督的端到端多人姿态估计问题，取得了优于复杂解码器的性能。

    Aug, 2023

  • TransPose: 基于 Transformer 的关键点定位

    本文介绍了一种名为 TransPose 的模型，它是用 Transformer 来进行人体姿态估计的，能够有效地捕捉长距离的关系以及细粒度的图像依赖关系，并通过产生热力图来进行关键点的定位。基于此，模型可以实现更快速的处理速度和更轻量化的模型结构。

    Dec, 2020

  • TransPose: 一个基于 Transformer 的六自由度物体姿态估计网络与深度修正

    该研究提出了一种改进的基于 Transformer 的 6D 位姿估计方法 TransPose，它利用 RGB 图片作为输入，结合轻量级深度估计网络和变压器检测网络，并通过深度细化模块对位姿进行精度优化，在果树采摘应用方面取得了优于其他现有方法的效果。

    Jul, 2023

  • 基于 Transformer 的姿态估计测试时间个性化

    本论文提出了一种个性化的深度神经网络技术，通过 fine-tuning 和使用 Transformer 模型，利用自我监督目标来适应每个测试样本，从而显著提高人体姿态估计模型的表现。

    Jul, 2021

  • TransPose：基于几何感知的 Transformer 的 6D 物体姿态估计

    TransPose 是一个利用 Transformer 编码器和几何感知模块的 6D 姿态框架，用于提取和利用深度信息中的几何特征，以实现更准确的预测。通过统一采样点云，并借助设计的局部特征提取器和图卷积网络提取局部几何特征；采用 Transformer 进行全局信息交换，使每个局部特征包含全局信息；最后，在 Transformer 编码器中引入几何感知模块，为点云特征学习提供有效约束，并使全局信息交换与点云任务更加紧密结合。实验结果表明，通过 TransPose 的 6D 姿态估计管道在三个基准数据集上取得了有竞争力的结果。

    Oct, 2023