May, 2024

使用扩散模型进行灵活的动作中间插值

PDF
TL;DR通过使用扩散模型生成多样化的人体动作，该研究提出了一种能够根据用户指定的空间限制和文本条件生成精确且多样化的动作的条件运动扩散补间方法（CondMDI）。在评估了该方法在 HumanML3D 数据集上的性能后，研究进一步探讨了基于引导和插值的方法，以及与这些方法相比，CondMDI 在推理时间关键帧创建方面的优势。
发现论文，激发创造
  • 人类运动扩散模型

    本文引入了 Motion Diffusion Model（MDM），这是一种经过精心设计的无分类器扩散生成模型，适用于人体运动领域，并在文本转运动和动作转运动的领先基准测试中实现了最先进的结果。

    Sep, 2022

  • 鲁棒动作插值

    本文提出了一种基于对抗性递归神经网络的新型、稳健的过渡生成技术，可以作为 3D 动画师的新工具。系统合成了高质量的运动，使用时间稀疏的关键帧作为动画约束。我们提出了两种新的加性嵌入修饰符，它们被应用在网络架构中的潜在表示内，用于解决仅在未来关键帧添加调节信息时无法将状态 - of-the-art 的运动预测模型转换为稳健的过渡生成器的问题。为了定量评估我们的方法，我们在 Human3.6M 数据集的子集和适用于转换生成的新型佐佛摸捉数据集 LaFAN1 上提供了明确定义的中间演算基准。同时，本文还发布了这个新数据集和可重现我们基准结果的伴随代码。

    Feb, 2021

  • 基于运动条件的扩散模型用于可控视频合成

    介绍了一种使用条件扩散模型的视频合成方法（MCDiff），可以通过一组笔画控制视频的内容和动态，达到了良好的视觉效果。

    Apr, 2023

  • 通过引导式扩散模型实现可控人体动作合成

    本文提出了应用于人体动作合成的有向扩散模型的算法 GMD，并进行了大量实验验证，证明该算法在控制生成的动作的同时，显著提高了基于文本的运动生成的效果。

    May, 2023

  • 条件运动中间插帧

    该论文提出了一种方法 ——Motion in-betweening (MIB)，它可以在保持运动自然性的同时，生成开始和目标姿势之间的中间骨架运动；该方法还可以处理在姿态或语义条件下的 MIB 任务，并提供增强运动生成质量的运动增强方法。该方法在姿态预测误差方面优于现有的 MIB 方法，并提供了更多可控性。

    Feb, 2022

  • 通过扩散模型了解基于文本驱动的关键帧协作运动合成

    本文提出了一种基于文本的运动合成技术，使用 DiffKFC 建立了一个条件扩散模型，该模型结合了关键帧来协作控制运动，通过 Dilated Mask Attention 模块来实现对身体姿势的微观描述，以实现高效、协同、粗细粒度的生成运动的目的。实验表明，本模型在人机交互 3D 和 KIT 等文本到运动数据集上表现出了最先进的性能。

    May, 2023

  • 可控的运动扩散模型

    该研究提出了一种基于扩散模型的可控运动扩散模型 (COMODO) 框架，通过强化学习控制器和控制策略，实现了对虚拟角色的实时、多样化运动生成，可以适应用户的实时命令，同时还可以预测更多多样化的动作。

    Jun, 2023

  • 使用扩散模型进行受形状限制的人体动作生成

    我们提出了一种基于形状条件的运动扩散模型（SMD），该模型可以直接在网格格式中生成运动序列，并结合了频谱 - 时间自编码器（STAE）以在频谱域内利用跨时依赖关系。通过广泛的实验评估，我们证明了 SMD 不仅可以生成栩栩如生的真实动作，而且在文本转换和动作转换任务中与最先进的方法相比具有竞争力的性能。

    May, 2024

  • 运动乐章：将静态图像转化为动态视频

    通过将语义和动作线索整合到扩散模型中，我们引入了一种用于视频生成的新方法，它显著提升了视频质量、动作精度和语义连贯性。

    Mar, 2024

  • 运动漫化：基于扩散模型的文本驱动人体动作生成

    MotionDiffuse 是一种基于扩散模型的文本驱动运动生成框架，可以通过概率映射、真实的合成方式，以及多级操作等方法，有效地生成复杂和多种变化的人类运动。

    Aug, 2022