自监督单张图像下的三维人体姿态估计
本文提出了一种自我监督的方法,利用未标注的多视角数据学习单图像三维姿态估计器,通过多视角一致性约束将观察到的二维姿态分离成基础的三维姿态和相机旋转,并且提出了新的、无偏的重建目标函数,跨视角和训练样本混合信息。该方法在两个基准数据集(Human3.6M 和 MPII-INF-3DHP)和野外 SkiPose 数据集上进行了评估。
Nov, 2020
本文提出了一种基于自监督学习的框架,利用单个基于零件的 2D 木偶模型、人体姿势约束和一组未配对的 3D 姿势来区分摄像机捕捉的人体姿态中的变化,从而在不同视频中提高多个任务的性能,包括 3D 姿势估计和部分分割。
Apr, 2020
通过采用无监督学习技术,基于来自单个图像的 2D 骨架关节,我们提出了一种恢复 3D 人体姿势的方法,该方法不需要任何多视图图像数据、3D 骨架、2D-3D 点之间的对应关系或在训练过程中使用先前学习的 3D 先验知识。我们的方法采用一个 lifting 网络将 2D 关键点作为输入,并生成相应的 3D 骨架估计,其中我们通过在随机相机视点重投影修复后的 3D 骨架来产生新的 “合成” 2D 姿态。我们还训练了一个 2D 域适配器网络来扩展 2D 数据,并通过自适应正则化机制使域适应效果更好。最终,在 Human3.6M 数据集上,我们的方法对无监督三维 lifting 的改进达到了 30%,并且优于许多明确使用 3D 数据的弱监督方法。
Apr, 2019
使用两种解剖启发的损失函数和弱监督学习框架,结合大规模野外 2D 和室内 / 合成 3D 数据共同学习人体姿态估计。还提出了一个简单的时间网络来调和预测的姿态序列,并通过损失表面可视化和敏感性分析仔细分析了所提出的贡献的工作机制。我们的完整流程在 Human3.6M 和 MPI-INF-3DHP 上分别提高了 11.8%和 12%,并在普通图形卡上以 30 FPS 运行。
Nov, 2017
本研究提出了一种基于自主学习的 3D 人体姿态估计方法 EpipolarPose,可以不需要 3D 地面真实数据或相机外参信息,通过对多视图图像中的 2D 姿态进行估计,然后利用极线几何获得 3D 姿态和相机几何信息进行训练 3D 姿态估计,实验结果表明,在标准数据集 Human3.6M 和 MPI-INF-3DHP 上,本方法 在弱 / 自监督方法中取得了最新的最新最优成果,并提出了一种新的性能度量 Pose Structure Score (PSS) 来度量姿势相对于其地面真实性的结构合理性。
Mar, 2019
本文介绍了一种利用自监督学习估算不需要人工标注的静态背景下单个人物的 2D 视频帧生成 3D 人体姿势的方法。作者采用射线投射技术进行人体模板的渲染,使神经网络可以对渲染结果进行优化,从而获得了令人满意的结果。
Oct, 2022
本文提出一种无监督的方法,通过学习从单张图像预测 3D 人体姿态来解决对于许多人类活动尚不存在标注训练数据的挑战,并且采用正则化流和对 2D 和 3D 姿态进行线性子空间投影来提高性能。
Dec, 2021
自我监督方法通过多视角输入图像和伪造姿势进行 3D 姿势估计,不需要 2D 或 3D 真实姿势标签,并且其有效性与完全监督方法相当。
Apr, 2024
提出了一种在现有 2D 姿态检测器的基础上,从单张图像中估计 3D 人体姿态的方法,通过线性组合稀疏基,实施限制并优化,得出该方法在三个基准数据集上的表现优于现有技术。
Jun, 2014