Mar, 2024

DreamMotion: 零编剪式自相似分数提取的时空相似分数精炼

PDF
TL;DR基于文本驱动的扩散视频编辑通过得分蒸馏采样来解决现实世界中的运动问题，同时匹配原始视频和编辑视频的时空自相似性，以改变外观同时准确保留原始结构和运动。
text-driven diffusion-based video editingscore distillation samplingmotion deviationspace-time self-similaritiesaltering appearances
发现论文，激发创造
  • 通过自适应滑动分数蒸馏进行零样本视频编辑

    我们的工作致力于探索基于分数蒸馏的稳健视频编辑范式，通过提出自适应滑动分数蒸馏策略，修改编辑过程中的自注意力层以保留原视频的关键特征，能够有效地应对文本为基础的视频生成中的挑战，实现与现有先进方法相比更优异的编辑性能。

    Jun, 2024

  • 零样学习的基于文本驱动运动转换的时空扩散特征

    我们提出了一种新的文本驱动运动转换方法，通过合成一个符合目标对象和场景描述的输入文本的视频，同时保持输入视频的运动和场景布局。

    Nov, 2023

  • 编辑你的动作：时空扩散解耦学习用于视频动作编辑

    通过提出一种一次性视频运动编辑方法（Edit-Your-Motion），利用详细提示引导学习策略（DPL）对时空扩散模型进行空间 - 时间特征解耦，从而实现对视频对象内容和运动的编辑。该方法比其他方法表现更好，能够生成更加激动人心和多样化的视频。

    May, 2024

  • MotionCraft: 基于物理的零样本视频生成

    提出了一种新的零样本视频生成器 MotionCraft，通过应用来自物理模拟的光流对图像扩散模型（如稳定扩散）的噪声潜空间进行变形，从而实现基于物理的和逼真的视频生成，以生成具有复杂运动动力学的视频。与现有方法相比，实现了定性和定量改进，证明了该方法的有效性。

    May, 2024

  • 动作一致性模型：使用解耦的运动 - 外观蒸馏加速视频扩散

    运用图像扩散提炼高保真生成的方法对视频扩散应用直接导致了公开视频数据集中视觉质量有限的帧质量不尽如人意的问题。研究旨在利用丰富的高质量图像数据提高视频扩散提炼的品质，同时改进帧外观。提出了一种称为运动一致模型 （MCM）的单阶段视频扩散提炼方法，通过分离运动和外观学习来改善视频扩散提炼。MCM 包括一个可以从视频教师模型中提炼运动的视频一致性模型和一种增强帧外观以匹配高质量图像数据的图像鉴别器。通过引入分离化的运动提炼和混合轨迹提炼来解决两个挑战：冲突的帧学习目标以及由于训练和推断中使用的视频样本质量不同而产生的训练 - 推断偏差。大量实验结果表明，MCM 达到了最先进的视频扩散提炼性能，并且方法可提高视频扩散模型的帧质量，能够生成具有高美感得分或特定风格的帧，而无需相应的视频数据。

    Jun, 2024

  • 4D-fy: 使用混合分数蒸馏抽样实现文本到 4D 生成

    使用混合得分蒸馏取样的方法，我们展示了具有引人注目外观、3D 结构和动态的 4D 场景的合成。

    Nov, 2023

  • StoryDiffusion: 长距离图像和视频生成的一致性自注意力

    通过引入一种新的自我关注计算方式（Consistent Self-Attention），以及引入一种语义空间时间运动预测模块（Semantic Motion Predictor），本文提出了一种名为 StoryDiffusion 的框架，能够生成包含丰富内容的一致图像或视频，用来描述基于文本的故事。

    May, 2024

  • MotionFollower: 通过轻量级评分引导扩散编辑视频动作

    提出了一种用于视频运动编辑的轻量级评分引导扩散模型 MotionFollower，通过引入条件控制实现去噪过程，利用两个轻量级信号控制器进行姿势和外貌控制，设计了基于双分支架构的评分引导原则，维护背景和角色的外貌并改变运动细节，实验证明了 MotionFollower 在运动编辑上具有卓越的性能。

    May, 2024

  • FastVideoEdit：利用一致性模型进行高效的文本到视频编辑

    借鉴一致性模型 (CM) 的自洽性特性，我们提出了一种高效的零样本视频编辑方法 FastVideoEdit，能够减少编辑时间并提高编辑速度，同时保持可比较的生成质量。

    Mar, 2024

  • 与图像共舞：通过静态动态解缠实现视频浓缩

    通过对视频进行数据蒸馏，提出了一种方法来解决视频中的时间维度问题，该方法首先将视频转化为静态图像作为静态内存，然后使用可学习的动态内存块补偿动态和运动信息，以在不同规模的视频数据集上实现最先进的表现。

    Dec, 2023