基于图像的抬举 —— 利用图像线索进行精确的三维人体姿势估计
本文提出了一种用于从单个 RGB 图像中估计人类姿势的统一方法,通过联合推理 2D 关节估计和 3D 姿势重建来改善两个任务,并使用可信的 3D 地标位置知识来对更好的 2D 位置进行搜索,并通过多级卷积神经网络架构综合了 3D 人体姿势的概率知识,并在 Human3.6M 数据集上进行了端到端的训练,最终获得了在 2D 和 3D 误差上优于之前方法的最新结果。
Jan, 2017
本文提出了一种在 “野外” 环境中进行三维人体姿态估计的解决方案,通过生成大量的具有三维姿势标注的逼真合成图像,并使用这些图像对全身三维姿势进行端对端的卷积神经网络训练,成功地在受控环境(Human3.6M)中优于大多数已发表的作品,并在真实图像(LSP)中展现了有前途的结果。
Feb, 2018
使用两种解剖启发的损失函数和弱监督学习框架,结合大规模野外 2D 和室内 / 合成 3D 数据共同学习人体姿态估计。还提出了一个简单的时间网络来调和预测的姿态序列,并通过损失表面可视化和敏感性分析仔细分析了所提出的贡献的工作机制。我们的完整流程在 Human3.6M 和 MPI-INF-3DHP 上分别提高了 11.8%和 12%,并在普通图形卡上以 30 FPS 运行。
Nov, 2017
通过采用无监督学习技术,基于来自单个图像的 2D 骨架关节,我们提出了一种恢复 3D 人体姿势的方法,该方法不需要任何多视图图像数据、3D 骨架、2D-3D 点之间的对应关系或在训练过程中使用先前学习的 3D 先验知识。我们的方法采用一个 lifting 网络将 2D 关键点作为输入,并生成相应的 3D 骨架估计,其中我们通过在随机相机视点重投影修复后的 3D 骨架来产生新的 “合成” 2D 姿态。我们还训练了一个 2D 域适配器网络来扩展 2D 数据,并通过自适应正则化机制使域适应效果更好。最终,在 Human3.6M 数据集上,我们的方法对无监督三维 lifting 的改进达到了 30%,并且优于许多明确使用 3D 数据的弱监督方法。
Apr, 2019
当前的 3D 人体姿势估计技术虽然表现出色,但在复杂的野外视频中理解和提升它们的普适性仍然是一个开放的问题。本文聚焦于 2D 到 3D 姿势提升器的稳健性,并开发了两个基准数据集来检验视频 - based 3D 姿势提升器对包括临时遮挡、动态模糊和像素级噪声在内的一系列常见视频污染的稳健性。我们观察到现有的最先进的 3D 姿势提升器在存在污染的情况下的普适性较差,并提出了两种应对这一问题的技术。首先,我们引入了时间加性高斯噪声 (TAGN) 作为一种简单而有效的 2D 输入姿势数据增强技术。此外,为了将 2D 姿势检测器输出的置信度得分纳入考虑,我们设计了一种置信度感知的卷积 (CA-Conv) 块。通过在受损视频上广泛测试,所提出的策略不断提升了 3D 姿势提升器的稳健性,并为未来研究建立了新的基准。
Dec, 2023
通过构建一个借助于当前技术能在控制误差较低前提下从 2D 开环位置中提取 3D 位置任务的相对简单的深度前向网络,我们发现了现代深度 3D 姿态估计系统的可视分析引起的错误是其主要问题。
May, 2017
本文介绍了基于深度学习的 2D 和 3D 人体姿态估计的综述,系统分析和比较了这些解决方案,对研究的挑战,应用和未来方向进行了讨论,包括 250 多篇研究论文以及姿态估计数据集和评估指标的定量表现比较和讨论。
Dec, 2020
本文提出了一种基于卷积神经网络的深度学习方法,用于单目 3D 人体姿态估计,具有高精度和更好的野外场景泛化能力,可以联合在具有 3D 标签和仅有 2D 标签的图像数据上进行训练,并在具有挑战性的野外数据上实现了最先进的准确性。
Apr, 2019
提出了一种在现有 2D 姿态检测器的基础上,从单张图像中估计 3D 人体姿态的方法,通过线性组合稀疏基,实施限制并优化,得出该方法在三个基准数据集上的表现优于现有技术。
Jun, 2014