May, 2020

深度动作共享的骨架感知网络

PDF
TL;DR本文提出了一种新颖的深度学习框架，用于不需要明确匹配训练集中运动对之间的数据驱动运动重定位，其利用不同同构骨架通过边合并操作可以简化为一个共同原始骨架并转化为一组关联于原始骨架关节的深度时态特征，从而实现简单的运动重定位，同时本方法是第一种能够在没有一对一匹配的情况下在不同采样运动链之间执行重定向的方法。
deep learningmotion retargetingskeletonsdifferentiable operatorslatent space
发现论文，激发创造
  • 神经运动网络：无监督动作转移

    提出一种适用于无监督运动再目标化的递归神经网络架构，并使用前向运动学层和循环一致性的对抗性训练目标来捕捉输入运动的高级特征。

    Apr, 2018

  • 基于姿态感知的身体部位灵活运动重定向注意力网络

    提出了一种基于身体部位的柔性运动重定向框架，其在运动编码阶段引入了姿势感知注意网络（PAN），并使用特征池化构建每个身体部位的共享潜在空间，通过在运动解码阶段应用该框架，可以在更具挑战性的重定向情景中获得合理的结果。

    Jun, 2023

  • 骨骼匿名化的对抗引导运动重定向

    基于运动重定向的隐私保护深度动作重定向模型（PMR）通过对抗学习，帮助实现与最先进模型相当的运动重定向效果，并降低隐私攻击的成功率。

    May, 2024

  • 2D 动作重定向中的跨字符动作学习

    本文提出了一种新的方法，通过使用神经网络从视频中提取人体运动的高级潜在表示的方法，实现了不需要显式重建三维姿态和 / 或相机参数的不同人类表演者之间的视频捕获运动的再定向。

    May, 2019

  • 基于运动语义和几何残留感知的蒙皮运动重定向

    本研究提出了一种基于神经网络和几何形状的跨角色动作传递算法，使用距离损失函数对动作和几何属性进行建模，产生的结果在保留动作语义的同时，抑制了物体间的穿透和接触缺失，具有最新的性能表现。

    Mar, 2023

  • 基于接触感知的蒙皮动作转移

    本文提出了一种运动重新定位方法，能够保留自身联系并防止相互穿透，利用一种新颖的几何条件循环网络和编码器空间优化策略实现高效的重新定位，通过实验证明其结果优于以往方法。

    Sep, 2021

  • 通过规范化网络实现野外动作再定位的 MoCaNet

    该研究提出了一种新的框架，通过结构和视图标准化操作，将 3D 动作重定位任务从控制环境转移到野外场景。该方法利用在线视频进行非监督训练，不需要使用任何运动捕捉系统或 3D 重建程序，从 2D 视频中重定位身体动作到 3D 角色，具有高精度的 2D 到 3D 动作转换性能，并且产生的规范化骨架序列可用于人类运动的可解释表示。

    Dec, 2021

  • 使用骨架一致性从单目视频中重建 3D 人体运动

    MotioNet 是一种用于从单眼视频中重建 3D 人体骨骼运动的深度神经网络，通过嵌入运动先验信息的深度神经网络将 2D 关节位置序列分解为对称骨骼和与全局根位置和足接触标签相关联的 3D 关节旋转序列，并在 3D 位置上应用正向运动学，使用敌对损失确保恢复的旋转速度处于自然关节旋转曲面上的关键优势使其能够直接从训练数据中学习到自然的关节旋转。

    Jun, 2020

  • Skeleton-Graph: 使用深度时空图卷积神经网络从 2D 观测中进行长期 3D 运动预测

    本篇论文提出了 Skeleton-Graph 模型，采用深度时空图卷积神经网络来预测 2D 姿态下未来的 3D 骨架姿态，通过图形式地建立骨骼关节之间的空间关系以解决长期姿态预测过程中的分歧问题，并引入了新的评估指标来衡量长期预测分歧程度，实验证明 Skeleton-Graph 模型在 GTA-IM 和 PROX 数据集上均比之前的模型取得了更好的预测效果。

    Sep, 2021

  • 姿态至动作：带有姿态先验的跨域动作重定位

    通过姿势数据和神经运动合成方法，我们利用现有的运动捕捉数据集将合理的动作转移到只有姿势数据的角色上，实验证明该方法可以同时有效地结合源角色的运动特征和目标角色的姿势特征，并通过小型或嘈杂的姿势数据集生成逼真的动作，被参与者评为更加享受观看、外观更逼真且表现更加平滑。

    Oct, 2023