SelfPose3d:自监督的多人多视角 3D 姿势估计
本研究提出了一种基于自主学习的 3D 人体姿态估计方法 EpipolarPose,可以不需要 3D 地面真实数据或相机外参信息,通过对多视图图像中的 2D 姿态进行估计,然后利用极线几何获得 3D 姿态和相机几何信息进行训练 3D 姿态估计,实验结果表明,在标准数据集 Human3.6M 和 MPI-INF-3DHP 上,本方法 在弱 / 自监督方法中取得了最新的最新最优成果,并提出了一种新的性能度量 Pose Structure Score (PSS) 来度量姿势相对于其地面真实性的结构合理性。
Mar, 2019
本论文提出了一种新的自我监督方法,通过训练不带标签的典型姿势图像数据集和未成对的 2D 姿势数据,从而实现了从单幅图像预测 3D 人体姿势的网络映射,可用于快速应用于其他人工结构(例如动物)的姿态估计。
Apr, 2023
本文介绍如何使用神经网络模型进行多摄像头人体姿势估计,在考虑多角度遮挡及联合位置不确定性情况下,使用 2D 关键点数据进行训练。相比于经典捆绑调整与弱监督单目 3D 基线方法,我们的模型在 Human3.6M 和 Ski-Pose PTZ 数据集上表现更好。
Aug, 2021
本文提出了一种自我监督的方法,利用未标注的多视角数据学习单图像三维姿态估计器,通过多视角一致性约束将观察到的二维姿态分离成基础的三维姿态和相机旋转,并且提出了新的、无偏的重建目标函数,跨视角和训练样本混合信息。该方法在两个基准数据集(Human3.6M 和 MPII-INF-3DHP)和野外 SkiPose 数据集上进行了评估。
Nov, 2020
本文研究多人姿态估计问题,提出了一种基于多视图系统和深度学习的方法,通过使用图神经网络模型预测场景中不同人之间的视角对应关系,并使用多层感知器模型将 2D 点转换为每个人的 3D 姿态。该模型采用自监督学习方式进行训练,从而避免了对大规模 3D 数据集的依赖。
Dec, 2022
本文提出了一种基于自监督学习的框架,利用单个基于零件的 2D 木偶模型、人体姿势约束和一组未配对的 3D 姿势来区分摄像机捕捉的人体姿态中的变化,从而在不同视频中提高多个任务的性能,包括 3D 姿势估计和部分分割。
Apr, 2020
本文提出了一种基于多视图图像的多人姿态估计方法,在统计参数体模型的引导下,这种方法能够更好地纠正不合理的 3D 姿态估计和填充缺失的关节点检测,将 2D 和 3D 观测联系起来,从而更准确地估计 3D 姿态并且具有较好的泛化性能,实验表明该方法的效果优于现有的方法。
Oct, 2021
本文介绍了一种利用自监督学习估算不需要人工标注的静态背景下单个人物的 2D 视频帧生成 3D 人体姿势的方法。作者采用射线投射技术进行人体模板的渲染,使神经网络可以对渲染结果进行优化,从而获得了令人满意的结果。
Oct, 2022
通过采用无监督学习技术,基于来自单个图像的 2D 骨架关节,我们提出了一种恢复 3D 人体姿势的方法,该方法不需要任何多视图图像数据、3D 骨架、2D-3D 点之间的对应关系或在训练过程中使用先前学习的 3D 先验知识。我们的方法采用一个 lifting 网络将 2D 关键点作为输入,并生成相应的 3D 骨架估计,其中我们通过在随机相机视点重投影修复后的 3D 骨架来产生新的 “合成” 2D 姿态。我们还训练了一个 2D 域适配器网络来扩展 2D 数据,并通过自适应正则化机制使域适应效果更好。最终,在 Human3.6M 数据集上,我们的方法对无监督三维 lifting 的改进达到了 30%,并且优于许多明确使用 3D 数据的弱监督方法。
Apr, 2019
本文提出了一种通过多视角的训练,使用一致性约束联合监督损失及惩罚项实现替代大量标注的 3D 人体姿态估计方法,并提出了一种联合估计相机姿态及人体姿态的方法,在 3D 人体姿态估计方面取得了良好的表现。
Mar, 2018