ICCVAug, 2023

坐标转换器：从视频实现单阶段多人网格恢复

PDF
TL;DR多人三维网格恢复是实现虚拟现实、物理治疗等领域团体行为自动感知的关键步骤。本研究提出了 CoordFormer 模型，通过建模多人空时关系并同时进行多网格恢复，显著提高了最新成果，超过了 MPJPE、PAMPJPE 和 PVE 指标，速度比最近的基于视频的方法快 40%。
multi-person 3d mesh recoveryvirtual realityphysical therapyspatial-temporal relationscoordformer
发现论文，激发创造
  • 多人网格恢复与 Transformers

    通过一种面向整体图像的方法，我们提出了一种新的模型设计，其中包括多尺度特征融合、关注机制和相对关节监督，该模型在涉及多个人的各种基准测试中显示出显著的性能提升，超过了最先进的基于区域和基于整体图像的方法。

    Feb, 2024

  • 一个针对多人姿态跟踪的双源注意力转换器

    为了解决多人姿势关联问题，提出了一种双源注意力变换器，它包括姿势条件重识别网络、基于时间姿势相似性的边嵌入和基于注意力的匹配层，能够有效应对运动模糊、拥挤场景和遮挡等问题。

    Jun, 2023

  • 多透视 空时关系变换的精确 3D 人体姿势估计

    我们提出了一个多阶段的 3D 序列到序列人体姿势检测框架，利用变压器的自注意力机制从多视角视频数据中捕捉空间 - 时间相关性，实验结果表明我们的方法在 Human3.6M 数据集上表现出色。

    Jan, 2024

  • 级联变换器用于端到端的人员搜索

    本文提出了一种应对人物搜索中遮挡问题的算法，采用 Cascade Occluded Attention Transformer（COAT）的三阶段级联设计，并通过多项实验证明其成果达到了 state-of-the-art 的水平。

    Mar, 2022

  • ConvFormer: 利用动态多头卷积注意力实现 Transformer 模型的参数减少，用于 3D 人体姿势估计

    本文提出了 ConvFormer：一种新型的卷积变压器，新增了一种动态的多头卷积自注意机制用于单目 3D 人体姿势估计。通过对人体各关节点之间的关系进行建模，利用时间关节特征的新概念进行完全的时间信息融合，成功地在三个基准数据集上实现了 SOTA 水平的结果，相对于以前的变压器模型取得了显著的参数降低。

    Apr, 2023

  • 从单张图像中连贯重建多人

    本研究针对单张图像中的多人 3D 姿态估计问题，采用自顶向下的方法，并利用 SMPL 参数化身体模型，提出了基于距离场碰撞损失和深度排序感知损失的网络训练框架，有效解决了结果不连贯的问题，并且在标准的 3D 姿态基准测试中表现出优异性能。

    Jun, 2020

  • 使用空间和时间转换器的三维人体姿势估计

    本研究提出一种基于 transformer 的算法，能够在视频中实现 3D 人体姿态估计，通过对空间和时间进行变换，对每一帧中人体关节关系进行建模，并在中心帧上输出准确的 3D 人体姿态，该算法在 Human3.6M 和 MPI-INF-3DHP 数据集上实现了最先进的成果。

    Mar, 2021

  • 具有组件感知变换器的一阶段三维全身网格恢复

    这篇论文提出了一种名为 OSX 的一阶段人体网格恢复技术，通过使用全局体编码器和本地面部 / 手部解码器组成的组件感知变压器（CAT），预测身体参数并提供高质量的特征图为解码器进行特征级上采样 - 裁剪方案，从而提取高分辨率的部分特定特征，并采用关键点引导的可变形注意力精确估计手部和面部。该技术简单而有效，没有任何手动后处理，并自然地避免了不合理的预测。同时，该论文还构建了一个大规模的上半身数据集（UBody），包含在不同真实场景下出现的在部分可见身体上的人，以弥合基础任务与下游应用之间的差距。

    Mar, 2023

  • 多人动作预测的联合关系变换器

    我们提出了关节 - 关系转换器，利用关系信息来增强交互建模和提高未来运动预测的准确性。

    Aug, 2023

  • 多人姿势预测的轨迹感知身体交互变换器

    本文提出了一种称之为 TBIFormer 的新型多人姿态预测框架，利用社交身体相互作用自我关注机制和轨迹感知相对位置编码来高效地建模身体部位间的交互影响，实验结果表明，在短时和长时预测上，该方法在 CMU-Mocap、MuPoTS-3D 和合成数据集方面，都显著优于现有的其他方法。

    Mar, 2023