Oct, 2021

TransFusion：基于 Transformer 的跨视角三维人体姿态融合估计

PDF
TL;DR该研究论文提出了一种可应用于多视角 3D 姿态估计中的变换器框架，该框架可以直接整合来自不同视角的信息，以改善 2D 预测器的性能。同时，研究人员还提出了一个名为 Epipolar field 的概念，它可以将 3D 位置信息编码到变换器模型中。实验证明，该方法更加高效，与其他融合方法相比有一致的改进。
multi-view 3d pose estimation2d pose detectorstransformer frameworkepipolar fieldcorrespondences
发现论文，激发创造
  • 极线变换器

    本文提出一种不同于传统的两步法的可微分配准方法，利用视差约束和特征匹配改进了 2D 姿态估计以提高 3D human joints 定位的精度。

    May, 2020

  • 三维人体姿态估计的跨视角融合

    该研究提出了一种基于多视角几何先验的方法，通过逐步改进三维姿态的准确性来从多视角图像中恢复绝对三维人体姿态。

    Sep, 2019

  • 多透视 空时关系变换的精确 3D 人体姿势估计

    我们提出了一个多阶段的 3D 序列到序列人体姿势检测框架，利用变压器的自注意力机制从多视角视频数据中捕捉空间 - 时间相关性，实验结果表明我们的方法在 Human3.6M 数据集上表现出色。

    Jan, 2024

  • 几何偏置变换器用于鲁棒的多视角 3D 人体姿势重建

    通过提出一种新颖的编码器 - 解码器 Transformer 架构，结合多视角和时间信息、几何关系和 2D 姿态检测可信度，我们解决了估计多视图下遮挡和受限重叠视图的 3D 人体姿势的挑战。我们的实验表明该方法在传统三角定位方法的具有挑战性的遮挡场景和视图受限场景中表现出很好的效果。

    Dec, 2023

  • 利用基于 Transformer 的融合网络探索联合动作协同性用于 3D 人体姿态估计

    提出了一种名为 Fusionformer 的方法用于 3D 人体姿态估计任务，通过引入自身轨迹模块、互相轨迹模块和全局空间时间特征以及局部关节轨迹特征的融合，最终通过姿势精炼网络来平衡 3D 投影的一致性，并在两个基准数据集上进行评估，结果表明与基线方法 poseformer 相比，在 Human3.6M 数据集上分别提高了 2.4％的 MPJPE 和 4.3％的 P-MPJPE。

    Oct, 2022

  • 实现超过 100 FPS 的多人 3D 姿态估计的跨视图跟踪

    本论文提出了一种基于多个校准相机视角的、面向实时应用的多人三维姿态估计解决方案，利用视频中的时间一致性直接在三维空间中匹配二维输入与三维姿态，通过跨视图多人跟踪迭代地更新姿态，从而提高了准确性和效率，并介绍了新的大规模多人数据集。

    Mar, 2020

  • 学习融合 2D 和 3D 图像线索用于单眼人体姿态估计

    该研究利用深度学习在单目 3D 人体姿势估计领域提出了一种新型结构，可以同时从图像中推算出 3D 关节坐标和 2D 关节位置，使用可训练的融合方案使信息得以最佳融合，从而在标准的 3D 人体姿势估计基准测试中大幅提高了现有技术水平。

    Nov, 2016

  • TransFusion: 一种实用有效的基于 Transformer 的扩散模型，用于 3D 人体动作预测

    TransFusion 是一种基于扩散的 3D 人体动作预测模型，它能够生成更有可能发生的样本并保持一定程度的多样性，通过使用 Transformer 作为骨干，以及在浅层和深层之间使用长跳连接和离散余弦变换来建模运动序列，改善性能，并与使用额外模块的先前基于扩散的模型相比，我们将所有输入（包括条件）都视为令牌，创造出比现有方法更精简的模型。我们对基准数据集进行了广泛的实验研究，以验证我们的人体动作预测模型的有效性。

    Jul, 2023

  • 针对多视角多人 3D 姿态估计与跟踪的部位感知测量

    本文介绍了一种基于多视图校准的多人 3D 姿势估计和跟踪方法，利用时序一致性来匹配先前构建的每个视图中的用 2D 姿势估计生成的 3D 骨架，同时提出两种策略，以实现更好的对应关系和 3D 重构。该方法在两个基准上实现了竞争性成果，并在 Campus 测试中取得了良好的结果。

    Jun, 2021

  • 跨视角和跨姿态的人体三维理解

    提出了一种基于自监督学习的预训练方法，使用仅图像的人类中心数据对模型进行训练，通过学习关于 3D 和人体运动的先验知识，在一系列人体相关任务中优于现有的自监督预训练方法，并在模型基于和不基于模型的人体网格重建的精调任务上达到了最先进的性能。

    Nov, 2023