Dec, 2023

MotionCrafter：一次性定制扩散模型的运动

PDF
TL;DRMotionCrafter 是一种新型一次性实例引导的动作定制方法，通过并行的时空架构注入参考动作到基础模型的时间部分，同时独立调整空间模块以进行角色或风格控制，以增强动作与外观的解耦，进而维持多样性，量化和定性实验证明了 MotionCrafter 在整合动态动作、保持一致性和提供广泛外观生成能力方面的成功。
发现论文，激发创造
  • MotionCraft: 基于物理的零样本视频生成

    提出了一种新的零样本视频生成器 MotionCraft，通过应用来自物理模拟的光流对图像扩散模型（如稳定扩散）的噪声潜空间进行变形，从而实现基于物理的和逼真的视频生成，以生成具有复杂运动动力学的视频。与现有方法相比，实现了定性和定量改进，证明了该方法的有效性。

    May, 2024

  • MotionDirector: 文本到视频扩散模型的动作定制

    通过引入双路径的 LoRAs 架构和一种新颖的去除外观影响的时间损失函数，作者提出了 MotionDirector 的方法，可以生成具有不同外观的自定义运动的视频，并支持混合不同视频的外观和运动以及给单个图像添加自定义动作。

    Oct, 2023

  • 一键式动作定制的文本到视频扩散模型

    通过低秩适应的时空注意力层，该文献介绍了一种用于一次性运动定制的自定义视频模型，可以从单个参考视频中学习运动信息，以适应新的主题和场景，并可轻松扩展到多个下游任务。

    Feb, 2024

  • MotionEditor: 通过内容感知扩散编辑视频动作

    MotionEditor 是一种扩散模型，用于视频动作编辑，通过引入内容感知的运动适配器和两分支架构实现编辑过程中保留原始背景和主角外貌。

    Nov, 2023

  • PoseCrafter：灵活姿态的一次性个性化视频合成

    该论文介绍了 PoseCrafter，一种根据灵活姿势控制进行个性化视频生成的单次方法，通过稳定扩散和 ControlNet 构建，通过精心设计的推理过程，生成高质量视频而无需对应的真实帧。

    May, 2024

  • VMC: 使用时间注意力调适进行视频动作定制的文本到视频扩散模型

    文本到视频扩散模型大幅推进了视频生成，但个性化定制这些模型以生成具有定制运动的视频对其提出了重大挑战，主要困难包括准确复制目标视频的运动及创建多样化的视觉变化。为解决这些问题，我们提出了一种名为视频运动定制（VMC）框架的新一键调整方法，用于适应视频扩散模型内的时间注意力层。该方法引入了一种新颖的运动 “蒸馏” 目标，利用连续帧之间的残差向量作为运动参考。扩散过程保留低频运动轨迹，同时减少图像空间中高频运动无关噪声。我们在各种真实运动和场景下将该方法与最先进的视频生成模型进行了验证。我们的代码、数据和项目演示可以在此 https URL 找到。

    Dec, 2023

  • 文本到视频扩散模型中的定制动作

    通过扩展现有的文本到视频生成模型，我们引入了一种方法来增加定制动作，以超越原始训练数据中所描绘的动作。通过利用几个呈现特定动作的视频样本作为输入，我们的方法学习并概括了多样化的、与文本指定情景相关的输入动作模式。

    Dec, 2023

  • MotionMaster：无需训练的视频生成摄像机运动转移

    我们提出了一种无需训练的视频运动转移模型 (COMD)，通过将摄像机运动从源视频中分离并转移到新的视频中，实现了对摄像机运动的灵活控制。我们通过提出一种单次摄像机运动分离方法和少次摄像机运动分离方法，从单个源视频和多个具有相似摄像机运动的视频中提取摄像机运动。最后，我们提出了一种运动组合方法，将不同类型的摄像机运动结合起来，使我们的模型具有更加可控和灵活的摄像机控制。

    Apr, 2024

  • 基于运动条件的扩散模型用于可控视频合成

    介绍了一种使用条件扩散模型的视频合成方法（MCDiff），可以通过一组笔画控制视频的内容和动态，达到了良好的视觉效果。

    Apr, 2023

  • 运动乐章：将静态图像转化为动态视频

    通过将语义和动作线索整合到扩散模型中，我们引入了一种用于视频生成的新方法，它显著提升了视频质量、动作精度和语义连贯性。

    Mar, 2024