Feb, 2024

扩散模型中一种一致性训练的数学理论

PDF
TL;DR一步采样的连贯性模型在训练阶段中具有良好的实证效果，通过训练一系列连贯性函数，能够将扩散过程的任何时间步骤的任意点映射到其起始点，其理论基础表明，为了生成与目标分布在 ε 接近程度内的样本，连贯性学习的步骤数应超过 d^5/2/ε，其中 d 为数据维度，这一理论为连贯性模型的有效性和实用性提供了深入洞察，从而启示其在下游推理任务中的实用性。
consistency modelssampling phasediffusion modelstraining phaseempirical performance
发现论文，激发创造
  • 一致性扩散模型的可证明统计速率

    本文提出了一种统计理论，将一致性模型的训练视为分布差异最小化问题，并通过使用 Wasserstein 距离，导出了与传统扩散模型相匹配的一致性模型的统计估计速率，同时揭示了一致性模型通过蒸馏和隔离方法进行训练的优势。

    Jun, 2024

  • 训练一致性模型的改进技术

    一步法生成模型中的一种家族为一次生成高质量数据提供了新的方法，通过改进的一致性训练技术，该研究提出了克服预训练模型局限性以及避免评估偏差的方法，并在 CIFAR-10 和 ImageNet 数据集上表现出了显著的改进。

    Oct, 2023

  • 多步骤一致性模型

    多步一致性模型是一种介于一致性模型和扩散模型之间的统一方法，通过增加采样步骤可以更容易地训练出高质量样本，保持了大部分采样速度的优势。

    Mar, 2024

  • 一种简化的一致性模型

    一种训练一致性模型的替代方案，通过表达常态模型轨迹的微分方程，提高训练效率，并显示出经典的幂律缩放规律。

    Jun, 2024

  • ACT: 对抗一致性模型

    通过在一步采样中最小化一致性训练损失来优化生成模型，提出了对抗一致性训练（ACT），通过在每一步骤使用鉴别器最小化分布间的 Jensen-Shannon 散度，从而提高了生成质量和收敛速度，这导致资源消耗大幅度减少，具有改进的 FID 分数。

    Nov, 2023

  • 一致性模型的收敛保证

    我们给出了一种新型一步生成模型的收敛保证，这种模型被称为一致性模型（CMs），可以在一步内高效地从任何现实数据分布中进行采样并产生与弥散模型生成的样本相媲美的结果。

    Aug, 2023

  • 一致性模型的等价性：一致性模型、一致性扩散模型和 Fokker-Planck 正则化

    本文旨在建立三种最近针对不同目标设计的 ' 连续性 ' 概念之间的理论联系，从而为一种更全面和包容性的连续性模型框架提供潜力。

    Jun, 2023

  • 一致性扩散模型：通过学习一致性来缓解采样漂移

    提出基于一致性约束的得分匹配方法，实验结果表明得到了 CIFAR-10 中条件和无条件生成的最新成果和 AFHQ 以及 FFHQ 的基准改进。

    Feb, 2023

  • 加速扩散模型的训练：一种一致性现象的启示

    扩散模型在近年来引起了广泛关注，然而其高计算成本限制了实际应用，本文通过研究发现了扩散模型的稳定性，并提出了两种训练加速策略，即课程学习的时间步骤调度和动量衰减策略。实验结果表明，这些策略可以显著减少训练时间并提高生成图像的质量。

    Mar, 2024

  • 利用生成模型引入的耦合改进一致性模型

    通过引入一种新的耦合，将输入的噪声数据与生成的一致性模型输出相关联，使得一致性训练更接近评分蒸馏，并且加快了一致性训练的收敛速度和提高了性能。

    Jun, 2024