PoseLifter:从单个嘈杂的 2D 人体姿势获取绝对 3D 人体姿势提升网络
通过采用无监督学习技术,基于来自单个图像的 2D 骨架关节,我们提出了一种恢复 3D 人体姿势的方法,该方法不需要任何多视图图像数据、3D 骨架、2D-3D 点之间的对应关系或在训练过程中使用先前学习的 3D 先验知识。我们的方法采用一个 lifting 网络将 2D 关键点作为输入,并生成相应的 3D 骨架估计,其中我们通过在随机相机视点重投影修复后的 3D 骨架来产生新的 “合成” 2D 姿态。我们还训练了一个 2D 域适配器网络来扩展 2D 数据,并通过自适应正则化机制使域适应效果更好。最终,在 Human3.6M 数据集上,我们的方法对无监督三维 lifting 的改进达到了 30%,并且优于许多明确使用 3D 数据的弱监督方法。
Apr, 2019
该论文提出了一种基于摄像机中心坐标系的神经网络,可以在单个步骤中预测关节位置,取得了当前最先进的结果,适用于 3D 人体姿势估计和 MuPoTS-3D 数据集。
Apr, 2019
通过构建一个借助于当前技术能在控制误差较低前提下从 2D 开环位置中提取 3D 位置任务的相对简单的深度前向网络,我们发现了现代深度 3D 姿态估计系统的可视分析引起的错误是其主要问题。
May, 2017
本文提出了一种用于从单个 RGB 图像中估计人类姿势的统一方法,通过联合推理 2D 关节估计和 3D 姿势重建来改善两个任务,并使用可信的 3D 地标位置知识来对更好的 2D 位置进行搜索,并通过多级卷积神经网络架构综合了 3D 人体姿势的概率知识,并在 Human3.6M 数据集上进行了端到端的训练,最终获得了在 2D 和 3D 误差上优于之前方法的最新结果。
Jan, 2017
当前的 3D 人体姿势估计技术虽然表现出色,但在复杂的野外视频中理解和提升它们的普适性仍然是一个开放的问题。本文聚焦于 2D 到 3D 姿势提升器的稳健性,并开发了两个基准数据集来检验视频 - based 3D 姿势提升器对包括临时遮挡、动态模糊和像素级噪声在内的一系列常见视频污染的稳健性。我们观察到现有的最先进的 3D 姿势提升器在存在污染的情况下的普适性较差,并提出了两种应对这一问题的技术。首先,我们引入了时间加性高斯噪声 (TAGN) 作为一种简单而有效的 2D 输入姿势数据增强技术。此外,为了将 2D 姿势检测器输出的置信度得分纳入考虑,我们设计了一种置信度感知的卷积 (CA-Conv) 块。通过在受损视频上广泛测试,所提出的策略不断提升了 3D 姿势提升器的稳健性,并为未来研究建立了新的基准。
Dec, 2023
本文提出了一种基于图表的变形网络,实现了从二维人体姿态到三维人体姿态的估计和到三维人体网格参数的回归。该方法在保证精度的同时,优化了计算效率,具有广泛的实际应用价值。
Jan, 2023
本文介绍了一种首个能够在实时环境中处理基本遮挡、能够适应 360 度全景相机和毫米波雷达传感器的多人姿态估计系统,通过使用实时的轻量级 2D-3D 姿态提升算法,在室内外环境中实现了准确的性能表现,提供了一种经济实惠且可扩展的解决方案,并且不论检测到的个体数量如何,系统的时间复杂度保持几乎恒定,能够在商用 GPU 的笔记本上达到大约 7-8 帧每秒的帧率。
Mar, 2024
深度学习技术用于估计人体姿势时,由于仅凭借 2D 姿势估计存在深度模糊问题,这篇论文提出了一种新的框架,通过利用图像特征和逐步学习的方法解决了泛化能力差的问题,并在多个数据集上取得了最先进的性能。
Dec, 2023
本文提出了一种基于神经网络的新型三维人体姿态估计算法,采用关系网络的结构来捕捉不同身体部位之间的关系,并使用每对不同身体部位生成的特征的平均值进行 3D 姿态估计,提出的网络在 Human 3.6M 数据集中实现了最先进的性能,并能在缺失关节的情况下有效地产生可信的结果。
May, 2018
使用两种解剖启发的损失函数和弱监督学习框架,结合大规模野外 2D 和室内 / 合成 3D 数据共同学习人体姿态估计。还提出了一个简单的时间网络来调和预测的姿态序列,并通过损失表面可视化和敏感性分析仔细分析了所提出的贡献的工作机制。我们的完整流程在 Human3.6M 和 MPI-INF-3DHP 上分别提高了 11.8%和 12%,并在普通图形卡上以 30 FPS 运行。
Nov, 2017