该研究提出了一种新的框架,通过结构和视图标准化操作,将 3D 动作重定位任务从控制环境转移到野外场景。该方法利用在线视频进行非监督训练,不需要使用任何运动捕捉系统或 3D 重建程序,从 2D 视频中重定位身体动作到 3D 角色,具有高精度的 2D 到 3D 动作转换性能,并且产生的规范化骨架序列可用于人类运动的可解释表示。
MotioNet 是一种用于从单眼视频中重建 3D 人体骨骼运动的深度神经网络,通过嵌入运动先验信息的深度神经网络将 2D 关节位置序列分解为对称骨骼和与全局根位置和足接触标签相关联的 3D 关节旋转序列,并在 3D 位置上应用正向运动学,使用敌对损失确保恢复的旋转速度处于自然关节旋转曲面上的关键优势使其能够直接从训练数据中学习到自然的关节旋转。