我们提出了一种设计噪声时间表以增强扩散模型训练效果的新方法，并通过在 ImageNet 基准测试上的实验结果展示了该设计的优越性。
Jul, 2024
一步法生成模型中的一种家族为一次生成高质量数据提供了新的方法，通过改进的一致性训练技术，该研究提出了克服预训练模型局限性以及避免评估偏差的方法，并在 CIFAR-10 和 ImageNet 数据集上表现出了显著的改进。
Oct, 2023
提出了一种结合了 Poisson 流一致性模型（PFCM）的后采样 Poisson 流一致性模型（PS-PFCM）的图像去噪技术，该方法能够在低剂量 CT 图像上优于当前的最优扩散样式模型，并在 CIFAR-10 数据集上提供了初步结果。
Feb, 2024
一步采样的连贯性模型在训练阶段中具有良好的实证效果，通过训练一系列连贯性函数，能够将扩散过程的任何时间步骤的任意点映射到其起始点，其理论基础表明，为了生成与目标分布在 ε 接近程度内的样本，连贯性学习的步骤数应超过 d^5/2/ε，其中 d 为数据维度，这一理论为连贯性模型的有效性和实用性提供了深入洞察，从而启示其在下游推理任务中的实用性。
通过对任务困难度、收敛行为和概率分布间相对熵的变化进行综合观察，我们发现较早的时间步骤的去噪任务存在收敛缓慢和相对熵高的挑战，因此我们提出了一个易难混合的学习方案，借鉴了课程学习的思想，在训练过程中将时间步骤或噪声水平划分为难度递减的簇，并按顺序进行模型训练，以从易到难进行去噪任务，从而改变了同时跨越所有时间步骤训练扩散模型的传统方法。我们的方法通过利用课程学习的好处，提高了性能和收敛速度，并与扩散训练技术的现有改进保持正交性。我们通过在无条件生成、类条件生成和文本转图像生成等图像生成任务上的全面实验证实了这些优势。
Mar, 2024
扩散模型在近年来引起了广泛关注，然而其高计算成本限制了实际应用，本文通过研究发现了扩散模型的稳定性，并提出了两种训练加速策略，即课程学习的时间步骤调度和动量衰减策略。实验结果表明，这些策略可以显著减少训练时间并提高生成图像的质量。
本研究提出了一种基于多样高斯噪音的一致性正则化方法，来改进图像分类器在面临各种噪声干扰时的鲁棒性和准确性。经过多项测试，在各项图像分类基准测试中，本方法都显著地超越了当代各种先进方法，进一步提高鲁棒精度和不确定性校准。
Apr, 2021
通过在一步采样中最小化一致性训练损失来优化生成模型，提出了对抗一致性训练（ACT），通过在每一步骤使用鉴别器最小化分布间的 Jensen-Shannon 散度，从而提高了生成质量和收敛速度，这导致资源消耗大幅度减少，具有改进的 FID 分数。
Nov, 2023
通过检测斑点扩散噪音调度方案，研究发现某些实现方式的差异在训练和推理中会导致模型输出失真，提出了改进措施，包括：规范化噪声调度方案、加入 v 预测、更改采样器以从最后一个时间步开始采样、对无分类器的指导进行缩放，使扩散过程在训练和推理中保持一致，从而更忠实地生成样本。
May, 2023
本文提出了一种统计理论，将一致性模型的训练视为分布差异最小化问题，并通过使用 Wasserstein 距离，导出了与传统扩散模型相匹配的一致性模型的统计估计速率，同时揭示了一致性模型通过蒸馏和隔离方法进行训练的优势。
Jun, 2024