本文描述了一种基于自监督学习的框架，可以将一个源图像中的对象根据驱动视频的运动进行动画处理，而不需要使用任何注释或有关特定对象的先前信息。使用一个经过训练的视频集合，我们的方法可以应用于此类对象的任何对象。

Feb, 2020

本文提出了一种基于注意力机制的网络来进行任意物体之间的动作传递，从源图像和驱动视频中提取外观信息并实现不同主体间的动作传递，通过交叉主体训练模型能更多角度、更真实的传递动作，实验表明该方法在各个领域内表现更好。

Jul, 2020

该文提出了一种新的框架，通过训练一系列递归深度神经网络从 2D 姿势及其时间导数来生成人类形状、结构和外观的中间表示，从而解决了视频中松散的服装动态和细节的生成问题，实现了高保真的人类动作转移。

Dec, 2020

我们提出了一个基于深度学习的新型预测框架，用于增强视频应用中的带宽减少，例如视频会议、虚拟现实游戏和患者健康监测的隐私保护。通过使用学习到的关键点及其局部仿射变换来表示动态对象，我们使用第一阶段运动模型（FOMM）对复杂运动进行建模。关键点由一个自监督的关键点检测器提取，并按照视频帧组织成时间序列。通过使用变分递归神经网络（VRNN）对关键点进行预测，以使源设备上的传输帧率更低。然后，使用光流估计器和生成器网络将预测的关键点合成为视频帧。通过在三个不同的数据集上演示基于关键点的表示与基于 VRNN 的预测在视频动画和重建方面的有效性，我们的结果显示了我们提出的架构在实时应用中的有效性，使得现有基于关键点的视频运动转换框架的带宽减少多达 2 倍，而几乎不影响视频质量。

Mar, 2024

提出了一种新的端到端无监督运动转移框架，通过使用细板样条运动估计来使光流更加灵活，提高源图像的特征融合，并设计额外的辅助损失函数来生成高质量的图像。实验结果表明，该方法在大多数基准测试中表现更好，pose 相关指标出现明显改进。

Mar, 2022

提出了一种新的基于视频的性能克隆技术，该技术使用深度生成网络训练目标演员的外观和动态，能够生成视频，其中该演员重新演绎其他表演。

Aug, 2018

本文采用人工智能技术生成目标人物的视频，并提出了三个方面的挑战：将每个视频帧解构成前景和背景，提出一种理论驱动的 Gromov-Wasserstein 损失，对面部特征进行几何引导并使用本地 GANs 细化脸部、脚部和手部。实验结果表明，我们的方法能够生成具有逼真的目标人物的视频，忠实地复制源人物的复杂动作。

May, 2022

使用生成对抗网络，将源角色的动作转移到目标角色上，并且保持高逼真度。将姿势信息和外貌信息解耦并重新组合，利用重建的三维人体模型作为 GAN 的条件，进一步引入细节增强网络以增强转移结果的细节信息。实验表明，该方法在质量和数量上均优于现有技术。

Mar, 2020

本研究提出了一种新颖的 3D 感知说话人视频动作迁移网络 Head3D，通过生成可视化可解释的 3D 标准头部，从 2D 主体帧中充分利用主体外貌信息，以适应驱动视频帧对齐。我们的方法的一个关键组成部分是自我监督的 3D 头部几何学习模块，能够从 2D 主体视频帧预测头部姿势和深度图。此外，我们还采用基于注意力的融合网络，将主体帧的背景和其他细节与 3D 主体头部相结合，生成合成目标视频。我们在两个公共说话人视频数据集上进行了广泛实验，结果表明 Head3D 在实际的跨身份设置中优于 2D 和 3D 先前方法，有证据显示它能够轻松适应受控姿态的新视图合成任务。

Nov, 2023

本文提出了一种利用计算方法在不同人之间传递身体动作的技术，基于生成网络，可以通过单个网络视频训练个人模型并生成具有照片级真实感的虚拟影像。

Mar, 2019