Jun, 2024

动作一致性模型：使用解耦的运动 - 外观蒸馏加速视频扩散

PDF
TL;DR运用图像扩散提炼高保真生成的方法对视频扩散应用直接导致了公开视频数据集中视觉质量有限的帧质量不尽如人意的问题。研究旨在利用丰富的高质量图像数据提高视频扩散提炼的品质，同时改进帧外观。提出了一种称为运动一致模型 （MCM）的单阶段视频扩散提炼方法，通过分离运动和外观学习来改善视频扩散提炼。MCM 包括一个可以从视频教师模型中提炼运动的视频一致性模型和一种增强帧外观以匹配高质量图像数据的图像鉴别器。通过引入分离化的运动提炼和混合轨迹提炼来解决两个挑战：冲突的帧学习目标以及由于训练和推断中使用的视频样本质量不同而产生的训练 - 推断偏差。大量实验结果表明，MCM 达到了最先进的视频扩散提炼性能，并且方法可提高视频扩散模型的帧质量，能够生成具有高美感得分或特定风格的帧，而无需相应的视频数据。
image diffusion distillationvideo diffusion distillationmotion consistency modelframe appearancevideo teacher model
发现论文，激发创造
  • AnimateLCM：个性化扩散模型和适配器的动画加速与解耦一致性学习

    通过提出的 AnimaLCM 方法，我们可以在最小的步骤内实现高保真度的视频生成，通过解耦图像生成先验和动作生成先验的一致性学习策略，提高了训练效率和生成的视觉质量。同时，我们还提出了一种有效的策略，使得现有的适配器可在稳定的扩散社区内实现各种功能，同时不影响采样速度，验证实验结果表明了我们提出方法的有效性。

    Feb, 2024

  • 基于运动条件的扩散模型用于可控视频合成

    介绍了一种使用条件扩散模型的视频合成方法（MCDiff），可以通过一组笔画控制视频的内容和动态，达到了良好的视觉效果。

    Apr, 2023

  • MotionMaster：无需训练的视频生成摄像机运动转移

    我们提出了一种无需训练的视频运动转移模型 (COMD)，通过将摄像机运动从源视频中分离并转移到新的视频中，实现了对摄像机运动的灵活控制。我们通过提出一种单次摄像机运动分离方法和少次摄像机运动分离方法，从单个源视频和多个具有相似摄像机运动的视频中提取摄像机运动。最后，我们提出了一种运动组合方法，将不同类型的摄像机运动结合起来，使我们的模型具有更加可控和灵活的摄像机控制。

    Apr, 2024

  • 用于文本引导图像编辑的可逆一致性蒸馏方法（约 7 步）

    通过应用可逆一致性蒸馏 (invertible Consistency Distillation, iCD) 框架，实现了在少于 4 个推理步骤中高质量图像合成和准确图像编码的目标，使得具有动态引导的 iCD 成为零样本文本引导图像编辑的高效工具。

    Jun, 2024

  • 运动乐章：将静态图像转化为动态视频

    通过将语义和动作线索整合到扩散模型中，我们引入了一种用于视频生成的新方法，它显著提升了视频质量、动作精度和语义连贯性。

    Mar, 2024

  • MLCM: 多步一致性蒸馏的潜态扩散模型

    将大型潜在扩散模型（LDMs）提炼为快速采样模型是一个备受关注的研究领域，本文通过扩展最新的多步一致性提炼（MCD）策略，建立了用于低成本高质量图像合成的多步潜在一致性模型（MLCM）。MLCM 通过与强调联合段一致性的渐进训练策略相结合，能够提高少步骤生成的质量。实验结果表明，MLCM 仅需 2-8 个采样步骤即可产生高质量、令人愉悦的图像，比 4 步骤的 LCM、8 步骤的 SDXL-Lightning 和 8 步骤的 HyperSD 显著优越；此外，MLCM 还在可控生成、图像风格转移和中文到图像生成等方面展示了其多功能性。

    Jun, 2024

  • SCott：借助随机一致性蒸馏加速扩散模型

    通过集成随机微分方程求解器到一致性蒸馏中，提出并验证了 Stochastic Consistency Distillation (SCott) 方法，该方法能够加快文本到图像生成的过程，并且在稳定扩散 - V1.5 模型上，表现优于其他模型在 MSCOCO-2017 5K 数据集上的生成结果。

    Mar, 2024

  • 与图像共舞：通过静态动态解缠实现视频浓缩

    通过对视频进行数据蒸馏，提出了一种方法来解决视频中的时间维度问题，该方法首先将视频转化为静态图像作为静态内存，然后使用可学习的动态内存块补偿动态和运动信息，以在不同规模的视频数据集上实现最先进的表现。

    Dec, 2023

  • DreamMotion: 零编剪式自相似分数提取的时空相似分数精炼

    基于文本驱动的扩散视频编辑通过得分蒸馏采样来解决现实世界中的运动问题，同时匹配原始视频和编辑视频的时空自相似性，以改变外观同时准确保留原始结构和运动。

    Mar, 2024

  • 视频 LCM：视频潜在一致性模型

    论文介绍了一种名为 VideoLCM 的框架，它利用了一致性模型的概念，通过最小步骤高效地合成视频，同时保持高质量。VideoLCM 基于现有的潜在视频扩散模型，并结合了一致性蒸馏技术来训练潜在一致性模型。实验结果表明，VideoLCM 在计算效率、保真度和时间一致性方面的有效性。尤其值得注意的是，VideoLCM 仅需四个采样步骤即可实现高保真度和流畅的视频合成，展示了实时合成的潜力。希望 VideoLCM 能成为后续研究的简单而有效的基准。源代码和模型将公开提供。

    Dec, 2023