姿态至动作：带有姿态先验的跨域动作重定位

Oct, 2023

姿态至动作：带有姿态先验的跨域动作重定位

Pose-to-Motion: Cross-Domain Motion Retargeting with Pose Prior

Qingqing Zhao, Peizhuo Li, Wang Yifan, Olga Sorkine-Hornung, Gordon Wetzstein

TL;DR通过姿势数据和神经运动合成方法，我们利用现有的运动捕捉数据集将合理的动作转移到只有姿势数据的角色上，实验证明该方法可以同时有效地结合源角色的运动特征和目标角色的姿势特征，并通过小型或嘈杂的姿势数据集生成逼真的动作，被参与者评为更加享受观看、外观更逼真且表现更加平滑。

Abstract

Creating believable motions for various characters has long been a goal in computer graphics. Current learning-based motion synthesis methods depend on extensive motion datasets, which are often challenging, if not impossible, to obtain. On the other hand, →

motion synthesis neural motion synthesis retargeting motion capture dataset pose data

发现论文，激发创造

2D 动作重定向中的跨字符动作学习

本文提出了一种新的方法，通过使用神经网络从视频中提取人体运动的高级潜在表示的方法，实现了不需要显式重建三维姿态和 / 或相机参数的不同人类表演者之间的视频捕获运动的再定向。

May, 2019

无监督动作转换用于人机模仿

早期研究旨在通过将人类动作领域中的关节位置序列转化为给定机器人能够实现且受其体现约束的动作领域，从而改进在线人机模仿技术。通过提出一个编码器 - 解码器神经网络模型进行领域转换，利用深度学习方法的泛化能力来解决这个问题。为了训练这样的模型，可以使用与机器人和人类动作相关联的配对数据，然而这样的数据在实践中非常稀少且收集费时。因此，我们转向了无配对领域转换的深度学习方法，并将其改进以实现人机模仿。

Jan, 2024

神经运动网络：无监督动作转移

提出一种适用于无监督运动再目标化的递归神经网络架构，并使用前向运动学层和循环一致性的对抗性训练目标来捕捉输入运动的高级特征。

Apr, 2018

每个人都跳舞

本文介绍一种简单的方法来实现 “像我这样做” 的运动转移：使用 “姿势” 作为中间表示，从源主体中提取姿势并应用学习的姿势到外观的映射来生成目标主体，并提供一个可靠的合成内容检测的取证工具和一个首个独一无二的开源视频数据集来进行训练和运动转移。

Aug, 2018

面向开放领域的多人动作驱动文本合成

本研究旨在从文本描述中生成多个人的自然和多样化的群体动作。我们利用大规模图像和视频数据集估计姿势信息，通过基于 Transformer 的扩散框架，实现了多个数据集中任意数量主题或帧的生成。实验证明，我们的方法是第一个能从多样的文本提示中生成高多样性和保真度的多主体运动序列的方法。

May, 2024

基于姿态感知的身体部位灵活运动重定向注意力网络

提出了一种基于身体部位的柔性运动重定向框架，其在运动编码阶段引入了姿势感知注意网络（PAN），并使用特征池化构建每个身体部位的共享潜在空间，通过在运动解码阶段应用该框架，可以在更具挑战性的重定向情景中获得合理的结果。

Jun, 2023

ToonTalker：跨领域人脸再现

本文提出了一种用于无配对数据的跨领域面部重现方法，通过转换器为不同领域中的动作在共同的潜变量空间进行对齐和转移，采用两个特定领域的运动编码器和可学习的运动基础记忆单元进行特性捕捉，并通过类比约束使用两个领域的数据进行新颖的跨领域训练方案，实验结果表明我们的方法优于其他竞争方法。

Aug, 2023

文本到运动检索的联合数据集学习和交叉一致性正则化

本文研究了运动姿势估计方法、文本与运动之间的检索任务、多数据集联合训练、交叉一致对比损失以及 MoT++ 等关键概念，并通过实验证明了提出的方法在 KIT Motion-Language 和 HumanML3D 数据集上的有效性。

Jul, 2024

基于物理的稀疏输入运动重定向

本研究提出了一种利用强化学习、物理模拟器和稀疏传感器数据实时将人类运动重定向到具有不同骨架结构的角色的方法，并仅需要运用运动捕捉数据进行培训，同时探讨了该框架中的重要组件。

Jul, 2023

深度动作共享的骨架感知网络

本文提出了一种新颖的深度学习框架，用于不需要明确匹配训练集中运动对之间的数据驱动运动重定位，其利用不同同构骨架通过边合并操作可以简化为一个共同原始骨架并转化为一组关联于原始骨架关节的深度时态特征，从而实现简单的运动重定位，同时本方法是第一种能够在没有一对一匹配的情况下在不同采样运动链之间执行重定向的方法。

May, 2020