适应性噪声采样概率恢复的三维人体姿势估计
本文提出了一种基于多模式混合密度网络的方法,可以从2D关节生成多个可行的3D人体姿势假设。实验表明,我们的方法具有先进的性能,并且可以用于针对2D-3D反问题的多解决方案。
Apr, 2019
本文提出一种基于正常流模型的方法,利用概率建模的思想,从多个视角的2D图像集合中重建3D人体姿势。该方法在人体姿势重建、模拟及建模上都取得了较好的效果,且可通过提供多种样本取得更为准确的估计。
Aug, 2021
本文提出了一种名为Multi-Hypothesis Transformer (MHFormer)的模型,旨在通过学习多个合理的姿势假设的空时表示,解决单目视频中的3D人体姿态估计问题,并在两个具有挑战性的数据集上取得了最新的最优结果。
Nov, 2021
该论文提出了一种名为AdaptPose的端到端框架,通过生成合成的3D人体动作数据,并在新数据集上通过微调来提高3D姿态估计模型的泛化能力,该方法成功地比之前的交叉数据集评估方法和使用部分3D注释的半监督学习方法改进了14%和16%。
Dec, 2021
本文提出了 DiffusionPose,将 2D 人体姿态估计问题定义为噪声热图的关键点热图生成问题,并通过添加噪声,将关键点扩散到随机分布中,学习扩散模型从噪声热图中恢复与图像特征相关的地面真值热图,从而实现从初始化热图的漸進式降噪方式生成热图。此外,本文还进一步探究了从人体结构信息中提取条件以提高 DiffusionPose 的性能。经过广泛的实验,证明了 DiffusionPose 的优越性,在广泛使用的 COCO、CrowdPose 和 AI Challenge 数据集上分别提高了 1.6、1.2 和 1.2 mAP。
Jun, 2023
我们提出了一种创新方法,结合前沿的扩散模型来进行3D人体姿势估计(3D-HPE),并展示了扩散模型提高人体姿势估计的准确性、稳健性和一致性的能力。使用Human 3.6M数据集,我们证明了该方法的有效性,并展示了其在面对遮挡、改善时间相干性和冠状面对称性方面的优势。我们的研究结果表明,独立的扩散模型能提供出色的性能,而与监督模型结合使用,它们的准确性更高,为3D-HPE研究开辟了新的激动人心的领域。
Sep, 2023
单目三维人体姿态估计是一个具有固有歧义的任务,我们提出了ManiPose,一种新颖的多假设模型,通过在人体姿势流形内约束模型,提供多组候选三维姿势,并达到更强一致性,从而超越现有的姿势一致性性能。
Dec, 2023
当前的3D人体姿势估计技术虽然表现出色,但在复杂的野外视频中理解和提升它们的普适性仍然是一个开放的问题。本文聚焦于2D到3D姿势提升器的稳健性,并开发了两个基准数据集来检验视频-based 3D姿势提升器对包括临时遮挡、动态模糊和像素级噪声在内的一系列常见视频污染的稳健性。我们观察到现有的最先进的3D姿势提升器在存在污染的情况下的普适性较差,并提出了两种应对这一问题的技术。首先,我们引入了时间加性高斯噪声 (TAGN) 作为一种简单而有效的2D输入姿势数据增强技术。此外,为了将2D姿势检测器输出的置信度得分纳入考虑,我们设计了一种置信度感知的卷积 (CA-Conv) 块。通过在受损视频上广泛测试,所提出的策略不断提升了3D姿势提升器的稳健性,并为未来研究建立了新的基准。
Dec, 2023
使用单眼相机进行三维人体姿态估计存在深度模糊问题,本文提出了一种基于扩散的三维姿态优化器(D3PRefiner),通过神经网络学习噪声姿态和真实姿态之间的映射关系,从而大幅提高当前的三维姿态估计性能。
Jan, 2024
我们提出了一种基于扩散的优化框架DRPose来改进确定性模型的性能,并借助多噪声的多步骤优化和多假设预测,实现了适用于当前姿势基准的更合适的多假设预测。
Jan, 2024