Jun, 2020

使用骨架一致性从单目视频中重建 3D 人体运动

PDF
TL;DRMotioNet 是一种用于从单眼视频中重建 3D 人体骨骼运动的深度神经网络，通过嵌入运动先验信息的深度神经网络将 2D 关节位置序列分解为对称骨骼和与全局根位置和足接触标签相关联的 3D 关节旋转序列，并在 3D 位置上应用正向运动学，使用敌对损失确保恢复的旋转速度处于自然关节旋转曲面上的关键优势使其能够直接从训练数据中学习到自然的关节旋转。
3d human skeletondeep neural networkkinematic priorsforward kinematicsjoint rotations
发现论文，激发创造
  • MonoCap: 基于 CNN 和几何先验的单目人体动作捕捉

    本文提出了一种新颖的方法，利用深度卷积神经网络来对 2D 关节点位置进行建模，并通过期望最大化算法来恢复 3D 几何体，从而实现了对不带标记的单个摄像头的全身人体姿态估计。

    Jan, 2017

  • 单目视频中全三维网格人体姿态的时间连续恢复

    该研究论文提出了一种基于深度学习和递归神经网络的方法，采用含有 3D 注释的合成单眼视频来恢复完整的 3D 人体姿势，并在定量和定性分析中证明了该方法的有效性。

    Jun, 2019

  • 具有物理意识的神经单目三维人体运动捕捉

    介绍了一种新的可训练系统，用于物理上合理的无标记 3D 人体运动捕捉，称之为 physionical，该系统在多种具有挑战性的场景下实现了最新技术的结果，其输入为 2D 关节关键点，能够在交互帧速率中生成平滑而物理明确的 3D 动作。

    May, 2021

  • 单目视频中的接触与人类动力学

    本文介绍了一种基于物理模型的方法，用于从视频中推断 3D 人体运动，该方法利用初始的 2D 和 3D 姿态估计作为输入，并通过物理轨迹优化得出一个符合物理规律的运动。实验结果显示，相较于纯运动学方法，该方法能够显著地提高动作的真实性和准确性。

    Jul, 2020

  • 提升手语三维姿态估计

    通过将前向运动学与神经网络相结合，本研究提出了一种快速有效的方法，将图像中的二维关键点提升到三维骨架，预测关节旋转和骨长，并利用神经网络中的 FK 层与骨骼约束相结合，实现了对三维骨骼姿势的快速准确估计。在定量和定性评估中，我们证明了该方法在关节位置误差和视觉外观方面都比 MediaPipe 更准确，并且能够在不同数据集上进行泛化。基于 PyTorch 的实现仅使用 CPU，每张图像处理时间为 100-200 毫秒（包括 CNN 检测）。

    Aug, 2023

  • 神经运动网络：无监督动作转移

    提出一种适用于无监督运动再目标化的递归神经网络架构，并使用前向运动学层和循环一致性的对抗性训练目标来捕捉输入运动的高级特征。

    Apr, 2018

  • SkeleMotion：基于动作信息的骨骼关节序列新表示方法用于 3D 动作识别

    提出了一种名为 SkeleMotion 的骨骼图像表示法，能够更好地捕捉行为中所涉及的长程关节交互和过滤杂乱运动值，并在 NTU RGB+D 120 数据集上优于现有技术，在 3D 人体动作识别方面取得了成功。

    Jul, 2019

  • 基于单目视频的高保真度神经人类动作转移

    该文提出了一种新的框架，通过训练一系列递归深度神经网络从 2D 姿势及其时间导数来生成人类形状、结构和外观的中间表示，从而解决了视频中松散的服装动态和细节的生成问题，实现了高保真的人类动作转移。

    Dec, 2020

  • 基于物理学的轨迹优化算法，从单目视频重建 3D 人体姿态

    本研究利用物理引擎对姿态估计过程进行改进，从而使得我们可以利用现实世界的场景推导出物体的运动。我们的公式具有广泛的应用场景，并可处理自身接触和与场景几何之间的接触。我们的方法在 Human3.6M 和 AIST 基准测试中均获得了与现有基于物理的方法相竞争的结果，同时不需要重新训练。

    May, 2022

  • 从多视角图像学习单目三维人体姿态估计

    本文提出了一种通过多视角的训练，使用一致性约束联合监督损失及惩罚项实现替代大量标注的 3D 人体姿态估计方法，并提出了一种联合估计相机姿态及人体姿态的方法，在 3D 人体姿态估计方面取得了良好的表现。

    Mar, 2018