Jul, 2021

基于 Transformer 的姿态估计测试时间个性化

PDF
TL;DR本论文提出了一种个性化的深度神经网络技术，通过 fine-tuning 和使用 Transformer 模型，利用自我监督目标来适应每个测试样本，从而显著提高人体姿态估计模型的表现。
human pose estimationpersonalizationself-supervisedtransformer modelfine-tuning
发现论文，激发创造
  • 基于 Transformer 的人体姿势直接估计（TFPose）

    我们提出了一种人体姿态估计框架，该框架以回归为基础，采用转换器有效地解决了姿态估计任务，使用序列预测问题的方法可以避免热图姿态估计带来的缺陷，并且通过关注机制可以适应地关注与目标关键点最相关的特征，从而大大克服了以前回归方法中存在的特征不对齐问题，而且我们的框架能够固有地利用关键点之间的结构关系，在 MS-COCO 和 MPII 数据集上的实验证明了我们的方法可以显著提高基于回归的姿态估计的最新技术水平，并且表现与最好的基于热图的姿态估计方法相当。

    Mar, 2021

  • Poseur：基于 Transformer 的直接人体姿势回归

    提出了一种基于 Transformer 网络的 2D 人体姿势估计方法，直接将图像转换为坐标进行回归预测，并利用自适应注意力机制来提高关键点坐标预测精度，实现了在 MS-COCO 数据集上超越同类方法的目标。

    Jan, 2022

  • 个性化的人类视频姿态估计

    该研究提出了一种个性化 ConvNet 姿态估计器，它可以根据帧与帧之间的时间跨度和人物外貌的特点，在视频中生成高精度的姿态标注，并利用自评模型筛选高质量的标注，并通过自动化的 fine-tune 训练方法将其个性化，相比于通用的 ConvNet，对目标视频的姿态估计得到了大幅提升，表现比现有方法更好。

    Nov, 2015

  • 高效的自监督人体姿势估计与归纳先验调整

    简化中文摘要：本文探讨了改善自监督人体姿势估计的方法，包括分析重建质量与姿势估计准确性的关系，提出了一个优于基准模型的模型流水线，使用不到三分之一的训练数据量，并提出了一种适用于自监督环境的度量，用于衡量预测身体部位长度比例的一致性。结果表明，在自监督范式中，精心设计的重建损失和归纳假设可以帮助协调姿势估计和重建。

    Nov, 2023

  • TransPose: 基于 Transformer 的关键点定位

    本文介绍了一种名为 TransPose 的模型，它是用 Transformer 来进行人体姿态估计的，能够有效地捕捉长距离的关系以及细粒度的图像依赖关系，并通过产生热力图来进行关键点的定位。基于此，模型可以实现更快速的处理速度和更轻量化的模型结构。

    Dec, 2020

  • 多透视 空时关系变换的精确 3D 人体姿势估计

    我们提出了一个多阶段的 3D 序列到序列人体姿势检测框架，利用变压器的自注意力机制从多视角视频数据中捕捉空间 - 时间相关性，实验结果表明我们的方法在 Human3.6M 数据集上表现出色。

    Jan, 2024

  • 使用空间和时间转换器的三维人体姿势估计

    本研究提出一种基于 transformer 的算法，能够在视频中实现 3D 人体姿态估计，通过对空间和时间进行变换，对每一帧中人体关节关系进行建模，并在中心帧上输出准确的 3D 人体姿态，该算法在 Human3.6M 和 MPI-INF-3DHP 数据集上实现了最先进的成果。

    Mar, 2021

  • 自监督单张图像下的三维人体姿态估计

    本论文提出了一种新的自我监督方法，通过训练不带标签的典型姿势图像数据集和未成对的 2D 姿势数据，从而实现了从单幅图像预测 3D 人体姿势的网络映射，可用于快速应用于其他人工结构（例如动物）的姿态估计。

    Apr, 2023

  • 自适应人体姿势预测的元辅助学习

    提出了一种测试相适应的深度学习框架，它结合了自监督辅助任务和元辅助学习来帮助主要预测网络适应测试序列，该方法在预测人类姿势方面取得了更高的准确性。

    Apr, 2023

  • 野外无监督单目 3D 人体姿态估计 CanonPose

    本文提出了一种自我监督的方法，利用未标注的多视角数据学习单图像三维姿态估计器，通过多视角一致性约束将观察到的二维姿态分离成基础的三维姿态和相机旋转，并且提出了新的、无偏的重建目标函数，跨视角和训练样本混合信息。该方法在两个基准数据集（Human3.6M 和 MPII-INF-3DHP）和野外 SkiPose 数据集上进行了评估。

    Nov, 2020