MHFormer:多假设变压器用于三维人体姿态估计
本文提出了一种基于多模式混合密度网络的方法,可以从2D关节生成多个可行的3D人体姿势假设。实验表明,我们的方法具有先进的性能,并且可以用于针对2D-3D反问题的多解决方案。
Apr, 2019
研究单视图和部分遮挡视图下获取人体的密集三维重建问题,建议通过合适的三维模型参数化人体形状和姿势,学习一种多假设神经网络回归器,约束每个假设位于合理人体姿势的流形上,并且在标准3D人体基准和重度遮挡版本中,该方法表现出优异的处理模糊姿态恢复的性能。
Nov, 2020
提出了一种名为Multi-Instance Pose Network (MIPNet)的人体姿势估计模型,能够在给定边框范围内预测多个2D姿态实例,并引入了一种称为多实例调制块(Multi-Instance Modulation Block,MIMB)的方法来适应性地调制每个实例的通道特征响应,与以往方法相比,在复杂场景中取得了显著的性能提升。
Jan, 2021
本研究提出一种基于transformer的算法,能够在视频中实现3D人体姿态估计,通过对空间和时间进行变换,对每一帧中人体关节关系进行建模,并在中心帧上输出准确的3D人体姿态,该算法在Human3.6M和MPI-INF-3DHP数据集上实现了最先进的成果。
Mar, 2021
本研究提出了一种名为PoseFormerV2的新型人体姿态估计方法,借助于在频域上紧凑的骨骼序列表示,以有效地扩大接受域并增强对噪声干扰的鲁棒性,进行时域和频域特征有效融合,相较于原始的PoseFormer和其他基于transformer的变体有更好的速度-准确性平衡。
Mar, 2023
本文提出了ConvFormer:一种新型的卷积变压器,新增了一种动态的多头卷积自注意机制用于单目3D人体姿势估计。通过对人体各关节点之间的关系进行建模,利用时间关节特征的新概念进行完全的时间信息融合,成功地在三个基准数据集上实现了SOTA水平的结果,相对于以前的变压器模型取得了显著的参数降低。
Apr, 2023
通过使用多视角数据对单目人体姿态估计模型进行微调,引入新的一致性损失函数,提升性能,从而实现对特定应用定制模型的实用和经济有效解决方案。
Nov, 2023
单目三维人体姿态估计是一个具有固有歧义的任务,我们提出了ManiPose,一种新颖的多假设模型,通过在人体姿势流形内约束模型,提供多组候选三维姿势,并达到更强一致性,从而超越现有的姿势一致性性能。
Dec, 2023
我们提出了一种基于扩散的优化框架DRPose来改进确定性模型的性能,并借助多噪声的多步骤优化和多假设预测,实现了适用于当前姿势基准的更合适的多假设预测。
Jan, 2024
我们引入了CHAMP,这是一种新颖的方法,通过利用具有扩散模型的条件分布,从2D关键点学习序列到序列、多假设的3D人体姿势。我们生成和聚合多个3D姿势假设,通过在训练期间为这些假设打分的方法,有效地将符合预测集成到学习过程中,从而达到更好的聚合结果。此过程产生了一个可微的符合预测器,与3D姿势估计器一起进行end2end训练。训练后,学习到的打分模型被用作一致性得分,将3D姿势估计器与一致性预测器结合起来,选择最准确的假设进行下游聚合。我们的结果表明,在一致性预测-过滤的假设集上进行简单的平均聚合产生了竞争性的结果。当与更复杂的聚合技术集成时,我们的方法在各种度量和数据集上实现了最先进的性能,并继承了一致性预测的概率保证。
May, 2024