不监督 3D 人体姿态表示:景象和姿态分离
本研究提出了一种几何感知的人体姿态三维表示方法,通过使用多个视角和简单的自编码器模型以 2D 关键点信息为监督,在训练阶段建立共享的 3D 表示,进而通过骨架编码器 - 解码器机制在潜在空间提取仅与姿态相关的表示。实验结果表明,该方法能够显著提高现有姿态估计方法的性能。
Mar, 2019
我们通过对自监督学习下三维人体姿势估计方法进行深入分析,测试了现有的分离表示学习方法从外貌信息中分离出姿势信息的程度,并发现这些方法的姿势编码包含了相当数量的外貌信息。
Sep, 2023
本文提出使用多视角图像而无需注释,来学习一个具有几何感知能力的身体表示,通过使用该身体表示,我们的方法在仅使用少量标记数据的情况下,显著优于完全监督的方法,并且在使用仅 1% 标记数据时,也优于其他半监督方法。
Apr, 2018
本文提出了一种简单但有效的无监督学习方法,结合自一致性和交叉一致性约束,并将尽可能刚性形变集成到训练循环中,以学习体态模型中的形状和姿态空间,并演示了学习表示的实用性,包括姿势转移和形状检索,实验证明了该方法的通用性。
Jul, 2020
本论文提出了一个自监督学习的视频自编码器,能够从视频中学习出 3D 结构和相机姿态的解耦表示,通过重组这些表示来实现诸如新视角合成、相机姿态估计以及运动跟踪的任务。
Oct, 2021
本文提出了一种新颖的时间姿势序列建模框架,可以将 3D 人体骨骼关节的动态嵌入到一个连续的潜在空间中,并应用于细粒度动作识别。 通过 Encoder GAN 和 PoseRNN 组合实现了一个无监督的骨架姿势重构和自编码器架构,该架构在 SBU 交互数据集上表现出了先进的传输性能和姿势插值。
Dec, 2018
提出了一种骨架解耦的 3D 人体网格恢复方法,该方法利用自我注意力机制实现多级空间和时间粒度的分离建模,并通过无监督对抗训练策略以及临时混洗和顺序恢复,成功提高了人体网格恢复的精度。
Aug, 2019
通过采用无监督学习技术,基于来自单个图像的 2D 骨架关节,我们提出了一种恢复 3D 人体姿势的方法,该方法不需要任何多视图图像数据、3D 骨架、2D-3D 点之间的对应关系或在训练过程中使用先前学习的 3D 先验知识。我们的方法采用一个 lifting 网络将 2D 关键点作为输入,并生成相应的 3D 骨架估计,其中我们通过在随机相机视点重投影修复后的 3D 骨架来产生新的 “合成” 2D 姿态。我们还训练了一个 2D 域适配器网络来扩展 2D 数据,并通过自适应正则化机制使域适应效果更好。最终,在 Human3.6M 数据集上,我们的方法对无监督三维 lifting 的改进达到了 30%,并且优于许多明确使用 3D 数据的弱监督方法。
Apr, 2019
本文提出了一种基于自监督学习的框架,利用单个基于零件的 2D 木偶模型、人体姿势约束和一组未配对的 3D 姿势来区分摄像机捕捉的人体姿态中的变化,从而在不同视频中提高多个任务的性能,包括 3D 姿势估计和部分分割。
Apr, 2020