Dec, 2023

视频 LCM：视频潜在一致性模型

PDF
TL;DR论文介绍了一种名为 VideoLCM 的框架，它利用了一致性模型的概念，通过最小步骤高效地合成视频，同时保持高质量。VideoLCM 基于现有的潜在视频扩散模型，并结合了一致性蒸馏技术来训练潜在一致性模型。实验结果表明，VideoLCM 在计算效率、保真度和时间一致性方面的有效性。尤其值得注意的是，VideoLCM 仅需四个采样步骤即可实现高保真度和流畅的视频合成，展示了实时合成的潜力。希望 VideoLCM 能成为后续研究的简单而有效的基准。源代码和模型将公开提供。
发现论文，激发创造
  • 分阶段一致性模型

    通过解决现有设计中的三个关键缺陷，本文提出了阶段一致性模型（PCM），该模型在多步细化的任务上显著优于现有方法，在一步生成任务上与先前的最新方法相当甚至更优。此外，PCM 的方法学还可应用于视频生成，使其成为最先进的少步文本到视频生成器之一。

    May, 2024

  • 潜在一致性模型：用少量推理步骤合成高分辨率图像

    利用潜在一致性模型（LCMs）解决迭代抽样过程在高分辨率图像合成中的计算负担和生成速度慢的问题，LCMs 通过直接预测导引反向扩散过程的 ODE 解决方案在潜空间中，实现了快速、高保真度的采样。

    Oct, 2023

  • MotionLCM：基于潜变一致性模型的实时可控动作生成

    基于 MotionLCM 模型，作者提出了一种能够实时生成可控运动的方法，通过引入运动潜在一致性模型（MotionLCM）和使用运动控制网络，实现了对文本和控制信号的实时生成和控制，在保持运行效率的同时展现出了出色的生成和控制能力。

    Apr, 2024

  • AnimateLCM：个性化扩散模型和适配器的动画加速与解耦一致性学习

    通过提出的 AnimaLCM 方法，我们可以在最小的步骤内实现高保真度的视频生成，通过解耦图像生成先验和动作生成先验的一致性学习策略，提高了训练效率和生成的视觉质量。同时，我们还提出了一种有效的策略，使得现有的适配器可在稳定的扩散社区内实现各种功能，同时不影响采样速度，验证实验结果表明了我们提出方法的有效性。

    Feb, 2024

  • 轨迹一致性蒸馏

    通过增加 Trajectory Consistency Distillation（TCD）的一组函数和策略性的随机采样的设计，可以显著提高图像生成质量，同时减少由多步一致性采样中积累的误差所致的细节不足，并且在较高的 NFEs 下相较于教师模型更加详细。

    Feb, 2024

  • FastVideoEdit：利用一致性模型进行高效的文本到视频编辑

    借鉴一致性模型 (CM) 的自洽性特性，我们提出了一种高效的零样本视频编辑方法 FastVideoEdit，能够减少编辑时间并提高编辑速度，同时保持可比较的生成质量。

    Mar, 2024

  • MLCM: 多步一致性蒸馏的潜态扩散模型

    将大型潜在扩散模型（LDMs）提炼为快速采样模型是一个备受关注的研究领域，本文通过扩展最新的多步一致性提炼（MCD）策略，建立了用于低成本高质量图像合成的多步潜在一致性模型（MLCM）。MLCM 通过与强调联合段一致性的渐进训练策略相结合，能够提高少步骤生成的质量。实验结果表明，MLCM 仅需 2-8 个采样步骤即可产生高质量、令人愉悦的图像，比 4 步骤的 LCM、8 步骤的 SDXL-Lightning 和 8 步骤的 HyperSD 显著优越；此外，MLCM 还在可控生成、图像风格转移和中文到图像生成等方面展示了其多功能性。

    Jun, 2024

  • 一致性的平方：基于潜在一致性模型的一致且快速的三维绘画

    基于 Objaverse 数据集样本研究，我们的 3D 绘画方法在所有评估中均获得强烈的偏好。

    Jun, 2024

  • 音乐一致性模型

    MusicCM 利用一致性模型来高效合成音乐剪辑的 mel - 频谱图，通过最小化采样步骤保持高质量，并通过多个扩散过程生成连贯的音乐，实现了计算效率、保真度和自然性的有效性。

    Apr, 2024

  • VideoMV：基於大型視頻生成模型的一致多視角生成

    使用来自视频生成模型的图像，通过引入一种新的框架以及 3D 感知降噪采样策略，可以更快速地生成密集视图，提高图像的质量和一致性。

    Mar, 2024