双姿态拼接的多样化动画中间帧生成
本文提出了一种基于对抗性递归神经网络的新型、稳健的过渡生成技术，可以作为 3D 动画师的新工具。系统合成了高质量的运动，使用时间稀疏的关键帧作为动画约束。我们提出了两种新的加性嵌入修饰符，它们被应用在网络架构中的潜在表示内，用于解决仅在未来关键帧添加调节信息时无法将状态 - of-the-art 的运动预测模型转换为稳健的过渡生成器的问题。为了定量评估我们的方法，我们在 Human3.6M 数据集的子集和适用于转换生成的新型佐佛摸捉数据集 LaFAN1 上提供了明确定义的中间演算基准。同时，本文还发布了这个新数据集和可重现我们基准结果的伴随代码。
Feb, 2021
通过使用周期自编码器学习到的相位变量，在混合专家神经网络模型中引入了一种新颖的数据驱动的动作插值系统，以达到人物的目标姿势。我们的方法在空间和时间上以不同的专家权重聚类动作，生成一系列自回归方式在当前状态和目标状态之间的姿势序列。此外，为了满足动画师手动修改的姿势或某些末端执行器作为要达到的约束，我们实施了学习的双向控制方案来满足这些约束。结果表明，使用相位进行动作插值任务可以使插值动作更加清晰，并进一步稳定学习过程。此外，在动作插值任务中使用相位还可以合成更具挑战性的运动，超越了行走等基本动作。此外，可以在给定目标关键帧之间进行风格控制。我们的提出的框架在动作质量和泛化性方面可与流行的最先进方法相竞争，特别是在存在较长的过渡持续时间的情况下。我们的框架有助于快速原型工作流程，用于创建游戏和电影行业中的动画人物序列，这是非常有趣的。
Aug, 2023
通过使用扩散模型生成多样化的人体动作，该研究提出了一种能够根据用户指定的空间限制和文本条件生成精确且多样化的动作的条件运动扩散补间方法（CondMDI）。在评估了该方法在 HumanML3D 数据集上的性能后，研究进一步探讨了基于引导和插值的方法，以及与这些方法相比，CondMDI 在推理时间关键帧创建方面的优势。
May, 2024
该论文提出了一种方法 ——Motion in-betweening (MIB)，它可以在保持运动自然性的同时，生成开始和目标姿势之间的中间骨架运动；该方法还可以处理在姿态或语义条件下的 MIB 任务，并提供增强运动生成质量的运动增强方法。该方法在姿态预测误差方面优于现有的 MIB 方法，并提供了更多可控性。
Feb, 2022
通过 split cross-modal 潜变量为 shared 和 motion-specific 两部分，结合 mapping network, relaxed motion loss, bicycle constraint 和 diversity loss 技术来训练条件变分自编码器，从而更加真实和多样的生成语音到动作的映射。
Aug, 2021
我们引入有限生成作为一种广义控制视频生成的任务，仅基于给定的起始和结束帧来合成任意的摄像机和主题运动，通过新提出的 Time Reversal Fusion 采样策略完全充分利用图像到视频模型的内在泛化能力，无需额外的训练或原始模型的微调，生成平滑连接两个帧的视频，生成忠实的主题运动中间形态，静态场景的新视角，以及在两个边界帧相同时无缝视频循环。我们构建了一个多样化的评估数据集，并与最接近的现有方法进行比较，发现 Time Reversal Fusion 在所有子任务上表现优于相关工作，具有生成由有限帧引导的复杂运动和三维一致视图的能力。详见此 https URL 的项目页面。
Mar, 2024
本文提出了一种新颖的动作序列生成方法 MT-VAE，它可以利用动作序列之间的转换关系，学习运动方式的特征嵌入和运动方式之间的特征变换，从而生成多样性且逼真的面部和全身运动，并展示了与类比运动传递和视频合成相关的应用。
Aug, 2018
提出了一种使用卷积模型实现视频 inbetweening 的方法，该模型通过逐步增加时间分辨率来学习生成潜在视频表示，最后用 3D 卷积在空时领域中解码，结果在广泛使用的基准数据集上表现出了显著的稳定性和多样性。
May, 2019
本文提出了一种基于生物学启发的有条件时间变分自编码器（BI-CTVAE）的模型，用于连续学习涉及时间序列的任务，特别是人类运动，最终将其应用于生成运动序列的连续学习中，并在人类运动数据集上进行测试，结果分类准确率为 78％，比不使用重放模型高 63％，仅比离线训练最先进的 GRU 模型低 5.4％。
Nov, 2022