姿态估计的结构特征学习
本文提出了一种新的基于卷积神经网络的人体姿势估计的架构和改进的学习技术,能够学习底层特征和高级弱空间模型,在姿态估计中比现有传统架构实现了显著改善。同时,本文探讨了一些研究中发现的经验教训,表明在一些情况下,甚至仅涵盖图像中的几个像素的特征检测器也可以产生出强的特征检测结果,并且高级空间模型对姿势估计的改善效果相对较小。本文的主要贡献在于展示了一种特定变体的深度学习可以在该任务上胜过所有现有传统架构。
Dec, 2013
本文提出了一种利用深度神经网络进行结构化输出学习的方法,用于从单眼图像中估计 3D 人体姿势。该方法将图像和 3D 姿势作为输入,通过卷积神经网络将图像特征提取出来,并通过两个分支网络将图像特征和姿态转换为联合嵌入,然后将联合嵌入相乘得到一个分数值。通过最大间隔代价函数来联合训练联合嵌入和分数函数,实现的网络为一种特殊形式的结构化支持向量机,它是使用深度神经网络区别性地学习联合特征空间。在 Human3.6m 数据集上测试了这个框架,并与其他最近的方法进行了比较,得到了最先进的结果。最后,我们展示了图像 - 姿态嵌入空间的可视化,证明了网络已经学习到了高水平的身体方向和姿态配置。
Aug, 2015
本文提出了一种基于深度学习回归体系结构的 3D 人体姿势结构预测方法,该方法借助于过度完备的自动编码器并考虑关节从属关系,优于现有技术,包括结构保留和预测准确性两方面。
May, 2016
使用两种解剖启发的损失函数和弱监督学习框架,结合大规模野外 2D 和室内 / 合成 3D 数据共同学习人体姿态估计。还提出了一个简单的时间网络来调和预测的姿态序列,并通过损失表面可视化和敏感性分析仔细分析了所提出的贡献的工作机制。我们的完整流程在 Human3.6M 和 MPI-INF-3DHP 上分别提高了 11.8%和 12%,并在普通图形卡上以 30 FPS 运行。
Nov, 2017
本文介绍了一种基于相对相机位姿的学习框架,采用新的损失函数和模型架构,可以弱监督学习特征描述符,从而避免了精确的像素级匹配,为更大更多样化的数据集训练描述符提供了可能。通过该框架训练的 CAmera Pose Supervised 描述符甚至优于过去的有监督描述符,实现了多种几何任务的最先进性能。
Apr, 2020
该论文提出了一个新的结构化预测层的方法,该层可通过一个连接类似于人体运动的动力链的一组小型神经网络的层次结构和损失函数的关节分解来明确地建模关节依赖性,并可以增强运动预测的性能和预测质量,而不受基础网络、关节角度表示和预测时间长度的限制,并在 AMASS 数据集上训练和测试后取得了良好的效果。
Oct, 2019
本文提出了 CRF-CNN 框架,用于在深度卷积神经网络中同时模拟输出层和隐藏特征层的结构信息,并应用于人体姿势估计,通过在各层之间的信息传递,采用了卷积和前向传播相结合的方式进行模型的训练,最终在两个基准数据集上验证该模型的有效性。
Nov, 2016
本研究提出了一种通过将卷积网络与姿态机器学习框架相结合的系统设计来学习图像特征和图像相关的空间模型,以实现姿态估计的任务,并解决了训练过程中梯度消失的问题,其通过提供自然的学习目标函数来约束学习过程,最终在 MPII, LSP 和 FLIC 等标准基准测试中实现了最先进的性能表现并超越了竞争方法。
Jan, 2016
该研究提出了一种基于全卷积神经网络和条件随机场的联合框架,旨在同步解决人体姿态估计和语义部位分割问题,并在 PASCAL VOC 数据集上进行了广泛实验,显示该算法在这两个任务上均优于竞争方法。
Aug, 2017
本文提出了一种多尺度结构感知神经网络,通过多尺度监督、多尺度回归网络、中间监督和结构感知损失以及关键点掩蔽训练方案等四个方面对深度卷积 - 反卷积沙漏模型进行改进,以有效地提高人体姿势估计的性能。该网络不仅可以解决尺度差异、遮挡和复杂多人场景等问题,而且可以全局优化多尺度特征的结构匹配,并在 MPII 挑战排行榜上取得了领先地位。
Mar, 2018