缓解人类水平转移:多人姿态估计的稳健领域自适应方法
我们提出了一种多层次域适应方法,利用图像风格转换、对抗训练和自监督学习来同时在图像、特征和姿态水平上进行域间对齐,实现了在姿态估计中的显著改进,超越了现有最先进算法,对人体姿态的改进高达 2.4%,对狗的改进高达 3.1%,对羊的改进高达 1.4%。
Apr, 2024
本文提出了一个基于两级分层变形的自适应人体姿态转移网络,使用门控卷积动态选择图像的重要特征并逐层自适应变形,通过更少的参数快速收敛并在服装纹理转移等任务中获得更好的性能。
Dec, 2020
提出了一种新的任务 —— 无源域适应人体姿态估计(HPE),并通过构建源模型、中间模型和目标模型的新框架,从源保护和目标相关两个角度解决了跨域学习的挑战。在几个领域自适应 HPE 基准测试中进行的综合实验表明,该方法在性能上明显优于现有方法。
Aug, 2023
本研究提出了一种基于轮廓 supervision 的目标适应框架,并且通过拓扑 - 骨架表示和 Chamfer-inspired 空间拓扑对齐损失来实现对模型的无标签目标域自适应。
Apr, 2022
本研究介绍了一种基于部件的架构 “本质结构适配器(ISA)”,可以解决类别级别的全 6D 物体姿态估计中的巨大挑战,例如类内变化、源域和目标域之间的分布偏移,并演示了其在合成和真实数据集上的良好性能
Aug, 2018
本文提出了一种更加紧凑和高效的多人姿态估计框架,使用自适应点集来表示人体部位并使用单阶段网络精细地回归多人姿态,在 COCO 测试开发数据集上实现了最佳速度 - 准确度平衡。
Dec, 2021
本文介绍一种基于先验引导的自训练方法(POST),通过使用伪标签和人体姿势先验知识,在没有源数据的情况下,使源模型适应新的目标领域,在姿势估计任务中取得了相当的性能提升。
Aug, 2023
通过知识蒸馏实现不同分辨率模型的性能提升,包括构建一个跨领域知识蒸馏框架,以及使用尺度自适应的投影仪集合模块来空间对齐输入分辨率不同的模型的特征图,进一步通过交叉类别对齐模块和从易到难的训练策略提高蒸馏性能。在 MPII 和 COCO 两个常见基准数据集上进行了大量实验证明了我们方法的有效性和效率。
May, 2024
通过多假设姿势合成领域适应(PoSynDA)框架,本研究克服了当前 3D 人体姿势估计器在适应新数据集方面的挑战,而无需繁琐的目标域注释。利用扩散中心结构,PoSynDA 模拟了目标域中的 3D 姿势分布,填补了数据多样性缺口。通过结合多假设网络,它创建了多样的姿势假设,并将其与目标域对齐。目标特定的源增强从源域中以解耦比例和位置参数的方式获得目标域分布数据。师生范式和低秩适应进一步完善了该过程。PoSynDA 在 Human3.6M、MPI-INF-3DHP 和 3DPW 等基准测试中表现出竞争力,甚至与目标训练的 MixSTE 模型相当。这项工作为实际应用 3D 人体姿势估计铺平了道路。代码可在链接中获取。
Aug, 2023