2D动作重定向中的跨字符动作学习
通过观察人类运动的视觉序列,我们可以轻松猜测人在过去和未来的3D运动。我们提出了一个可以学习人类3D动力学表示的框架,通过简单而有效的图像特征时间编码。在测试过程中,学习到的时空表示能够预测具有平稳性的3D网格。我们的模型可以从单个图像中恢复当前的3D网格以及它未来和过去的3D运动,同时也可以通过半监督学习从带有2D姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练,通过已有的2D姿态检测器得到伪基础真值2D姿态,证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。
Dec, 2018
本文提出了一种新颖的深度学习框架,用于不需要明确匹配训练集中运动对之间的数据驱动运动重定位,其利用不同同构骨架通过边合并操作可以简化为一个共同原始骨架并转化为一组关联于原始骨架关节的深度时态特征,从而实现简单的运动重定位,同时本方法是第一种能够在没有一对一匹配的情况下在不同采样运动链之间执行重定向的方法。
May, 2020
MotioNet是一种用于从单眼视频中重建 3D 人体骨骼运动的深度神经网络,通过嵌入运动先验信息的深度神经网络将 2D 关节位置序列分解为对称骨骼和与全局根位置和足接触标签相关联的 3D 关节旋转序列,并在 3D 位置上应用正向运动学,使用敌对损失确保恢复的旋转速度处于自然关节旋转曲面上的关键优势使其能够直接从训练数据中学习到自然的关节旋转。
Jun, 2020
该研究提出了一种新的框架,通过结构和视图标准化操作,将3D动作重定位任务从控制环境转移到野外场景。该方法利用在线视频进行非监督训练,不需要使用任何运动捕捉系统或3D重建程序,从2D视频中重定位身体动作到3D角色,具有高精度的2D到3D动作转换性能,并且产生的规范化骨架序列可用于人类运动的可解释表示。
Dec, 2021
提出了一种基于身体部位的柔性运动重定向框架,其在运动编码阶段引入了姿势感知注意网络(PAN),并使用特征池化构建每个身体部位的共享潜在空间,通过在运动解码阶段应用该框架,可以在更具挑战性的重定向情景中获得合理的结果。
Jun, 2023
通过姿势数据和神经运动合成方法,我们利用现有的运动捕捉数据集将合理的动作转移到只有姿势数据的角色上,实验证明该方法可以同时有效地结合源角色的运动特征和目标角色的姿势特征,并通过小型或嘈杂的姿势数据集生成逼真的动作,被参与者评为更加享受观看、外观更逼真且表现更加平滑。
Oct, 2023
该论文介绍了通过视频和2D关键点之间的跨模态潜在特征空间对三维人体运动和2D输入之间进行运动先验对齐的Video-to-Motion Generator (VTM),该方法通过将运动数据分别建模为上半身和下半身,以及使用尺度不变的虚拟骨架与运动数据对齐,展示了在重建单目视频中的三维人体运动方面具有领先水平的表现,尤其是在未见过的视角和野外视频中的泛化能力。
Apr, 2024