Jun, 2024

猿猴仿效：利用自注意力在运动扩散中实现零样本运动转移

PDF
TL;DR通过深入研究预训练动作扩散模型中潜在特征空间的隐含优势以及注意力机制，本文提出了一种名为 MoMo 的零样本动作转换方法，它能够保持追随者的细微特征并将领导者的动作传递给追随者，同时充分利用预训练模型的权重，允许选择性地编辑与特定动作相关的特征，并且在合成、风格转换和空间编辑等任务上展现出优越性。
发现论文，激发创造
  • GazeMoDiff：基于凝视引导的扩散模型用于随机人体运动预测

    人类动作预测是虚拟现实（VR）应用中的重要问题，本论文提出了一种新的注视引导去噪扩散模型（GazeMoDiff），通过学习眼球注视和人体运动之间的时空相关性，生成逼真的人体运动，实验证明本方法在平均位移误差上超过了现有方法。

    Dec, 2023

  • Motion-Zero：基于扩散的视频生成中的零表示移动物体控制框架

    我们提出了一种新颖的零样条移动物体轨迹控制框架 Motion-Zero，通过提供基于位置的先验来改善移动物体的外观稳定性和位置准确性，并利用 U-net 的注意力图在扩散模型的去噪过程中直接应用空间约束，从而进一步确保移动物体的位置和空间一致性，并通过引入移动注意力机制实现时序一致性的保证。这种方法可以灵活运用于各种最先进的视频扩散模型，无需任何训练过程，大量实验证明我们的方法可以控制物体的运动轨迹并生成高质量的视频。

    Jan, 2024

  • 视频扩散模型：训练免费的动作解释器和控制器

    本研究通过主成分分析 (PC) 分析，揭示了视频扩散模型中稳健的运动感知特征，并通过提出的运动特征 (MOFT) 实现了无需训练的视频运动控制框架，为生成自然逼真的运动提供了竞争性能、架构无关的见解以及在各种下游任务中的适用性。

    May, 2024

  • MotionEditor: 通过内容感知扩散编辑视频动作

    MotionEditor 是一种扩散模型，用于视频动作编辑，通过引入内容感知的运动适配器和两分支架构实现编辑过程中保留原始背景和主角外貌。

    Nov, 2023

  • 零样学习的基于文本驱动运动转换的时空扩散特征

    我们提出了一种新的文本驱动运动转换方法，通过合成一个符合目标对象和场景描述的输入文本的视频，同时保持输入视频的运动和场景布局。

    Nov, 2023

  • 使用自回归扩散模型的可控运动合成和重建

    该研究介绍了 MoDiff，它是一个基于自回归概率扩散模型的运动序列生成模型，其结合了跨模式 Transformer 编码器和基于 Transformer 的解码器，以生成控制时序依赖性的动作。该模型在运动合成方面表现优异，并通过数据丢弃方法来提高数据表示和运动合成的鲁棒性。

    Apr, 2023

  • MotionMix：无监督扩散生成可控运动

    Controllable generation of 3D human motions using MotionMix, a weakly-supervised diffusion model, achieves state-of-the-art performances on text-to-motion, action-to-motion, and music-to-dance tasks.

    Jan, 2024

  • MoVideo：使用扩散模型的运动感知视频生成

    提出一种新的运动感知视频生成 (MoVideo) 框架，从视频深度和光流两个方面考虑运动，并通过稀疏 - 时间扩散模型生成视频深度和光流，然后在潜在空间中生成视频，最后利用光流对不同帧进行对齐和细化，实现了文本到视频和图像到视频生成中最先进的结果。

    Nov, 2023

  • MoDiTalker: 运动解缠扩散模型用于高保真说话头生成

    通过提出的 MoDiTalker 模型，我们成功地解决了传统 GAN 模型在生成对话头像时存在的质量有限和训练不稳定的问题，并通过引入音频到运动和运动到视频两个模块，实现了高质量的对话头像生成。

    Mar, 2024

  • StoryDiffusion: 长距离图像和视频生成的一致性自注意力

    通过引入一种新的自我关注计算方式（Consistent Self-Attention），以及引入一种语义空间时间运动预测模块（Semantic Motion Predictor），本文提出了一种名为 StoryDiffusion 的框架，能够生成包含丰富内容的一致图像或视频，用来描述基于文本的故事。

    May, 2024