通过扩散合成进行的 3D 人体姿势分析
DPoser 是一种基于扩散模型的强大而多功能的人体姿势先验,它在包括人体网格恢复、姿势完成和动作降噪在内的各种姿势中心应用中无缝集成,并通过采用变分扩散采样进行有效求解,它在多个任务中展示了其优越性。
Dec, 2023
提出一种新颖的姿态估计框架 (DiffPose),基于扩散模型将 3D 姿态估计描述为一个逆扩散过程,并引入了姿态特定初始化、基于高斯混合模型的前向扩散过程和上下文条件的逆扩散过程等新设计来促进扩散过程,相比现有方法在 Human3.6M 和 MPI-INF-3DHP 等广泛使用的姿态估计基准测试中显著提升。
Nov, 2022
使用去噪扩散模型,我们提出了一种名为 PIDM 的人体图像扩散模型,解决了复杂的转换问题,并展示了在两个大型基准测试中的显着结果,以及如何在下游任务中使用生成的图像。
Nov, 2022
通过多假设姿势合成领域适应(PoSynDA)框架,本研究克服了当前 3D 人体姿势估计器在适应新数据集方面的挑战,而无需繁琐的目标域注释。利用扩散中心结构,PoSynDA 模拟了目标域中的 3D 姿势分布,填补了数据多样性缺口。通过结合多假设网络,它创建了多样的姿势假设,并将其与目标域对齐。目标特定的源增强从源域中以解耦比例和位置参数的方式获得目标域分布数据。师生范式和低秩适应进一步完善了该过程。PoSynDA 在 Human3.6M、MPI-INF-3DHP 和 3DPW 等基准测试中表现出竞争力,甚至与目标训练的 MixSTE 模型相当。这项工作为实际应用 3D 人体姿势估计铺平了道路。代码可在链接中获取。
Aug, 2023
本文提出了 DiffusionPose,将 2D 人体姿态估计问题定义为噪声热图的关键点热图生成问题,并通过添加噪声,将关键点扩散到随机分布中,学习扩散模型从噪声热图中恢复与图像特征相关的地面真值热图,从而实现从初始化热图的漸進式降噪方式生成热图。此外,本文还进一步探究了从人体结构信息中提取条件以提高 DiffusionPose 的性能。经过广泛的实验,证明了 DiffusionPose 的优越性,在广泛使用的 COCO、CrowdPose 和 AI Challenge 数据集上分别提高了 1.6、1.2 和 1.2 mAP。
Jun, 2023
DiffPose 是一种新颖的扩展扩散模型,将基于视频的人体姿势估计作为条件热图生成问题,并通过多组姿势估计的结合以及迭代步骤的调整来提高预测准确性,成功地在 PoseTrack2017、PoseTrack2018 和 PoseTrack21 三个基准测试上取得了新的最佳结果。
Jul, 2023
该研究论文提出了一种渐进条件扩散模型(PCDMs),通过三个阶段逐渐弥合目标姿势和源姿势下的人像之间的差距,并生成高质量、高保真的综合图像。
Oct, 2023
本文提出了一个新颖的端到端框架,用于从单眼图像或序列中估计三维手部姿势。通过使用用于生成目的的扩散模型并引入显式的正向运动学层,我们确保生成的姿势符合实际。通过在连续帧的时间窗口上添加 Transformer 模块,我们在提升精确度的同时克服了抖动问题。该方法在几个不同的数据集上通过定量和定性评估展示了领先的鲁棒性、泛化性和准确性。
Aug, 2023
我们提出了一种创新方法,结合前沿的扩散模型来进行 3D 人体姿势估计(3D-HPE),并展示了扩散模型提高人体姿势估计的准确性、稳健性和一致性的能力。使用 Human 3.6M 数据集,我们证明了该方法的有效性,并展示了其在面对遮挡、改善时间相干性和冠状面对称性方面的优势。我们的研究结果表明,独立的扩散模型能提供出色的性能,而与监督模型结合使用,它们的准确性更高,为 3D-HPE 研究开辟了新的激动人心的领域。
Sep, 2023