通过对任务困难度、收敛行为和概率分布间相对熵的变化进行综合观察，我们发现较早的时间步骤的去噪任务存在收敛缓慢和相对熵高的挑战，因此我们提出了一个易难混合的学习方案，借鉴了课程学习的思想，在训练过程中将时间步骤或噪声水平划分为难度递减的簇，并按顺序进行模型训练，以从易到难进行去噪任务，从而改变了同时跨越所有时间步骤训练扩散模型的传统方法。我们的方法通过利用课程学习的好处，提高了性能和收敛速度，并与扩散训练技术的现有改进保持正交性。我们通过在无条件生成、类条件生成和文本转图像生成等图像生成任务上的全面实验证实了这些优势。

Mar, 2024

提出了一种名为 Step-Adaptive Training 的创新训练策略，通过在初始阶段训练一个基础去噪模型来涵盖所有时间步长，然后将时间步长分成不同的组，在每个组内进行微调以实现专门的去噪能力，这种方法不仅提高了模型性能，还显著降低了计算成本。

Dec, 2023

本文介绍了如何使用增强学习方法直接优化扩散模型以实现人类感知的图像质量和药物效果等下游目标，并提出了一种名为去噪扩散策略优化（DDPO）的类策略梯度算法，并进行了实证及效果验证。

May, 2023

本研究介绍了扩散模型在文本生成任务中的应用，并提出了两种桥接训练和推理之间差异的方法，分别为 “距离惩罚” 和 “自适应衰减采样”，实验证明这两种方法能够在保证性能的情况下加速 100 倍至 200 倍。

May, 2023

使用散射模型生成多个合理的未来轨迹分布，通过解决时间消耗和意图不确定性的问题，能够提高推理速度并实现更少的扩散步骤。

Mar, 2024

本研究提出了一种名为 DARE 的新颖 DIL 方法，通过分歧、适应和细化的三阶段训练过程，逐步将与新任务相关的表示适应到由先前任务样本所覆盖的特征空间中，并同时整合任务特定的决策边界，有效减缓了特征编码器的表示漂移，降低了多个 DIL 基准下的灾难性遗忘，并且在任务边界处防止了突发的表示漂移，使得 DIL 模型的性能得到了良好校准，并保持了对先前任务的性能。

Jun, 2024

通过对扩散模型进行调查，我们希望能更好地理解它们的预测与基于物理计算的结果之间的比较，以利用机器学习来显著加速电子结构计算，而无需昂贵的原理数据集进行训练。我们发现一种流行的扩散模型用于全新分子生成的推理过程可以分为探索阶段和弛豫阶段，其中模型选择原子种类的同时调整原子坐标以找到低能几何形状。随着训练的进行，我们发现该模型最初学习的是位能曲面的一阶结构，然后逐渐学习高阶结构。我们还发现扩散模型的弛豫阶段可以用于对构象进行玻尔兹曼分布采样，并进行结构弛豫。对于结构弛豫，该模型对小型有机分子的能量较经典力场产生的结构低约 10 倍。在密度泛函理论 (DFT) 弛豫中，从扩散生成的结构开始与从经典力场弛豫的结构开始相比，可以使 DFT 弛豫速度提高超过 2 倍。

Nov, 2023

通过提出一种新颖的去随机扩散过程，我们加速了离散扩散模型的算法；我们还引入了一种连续时间采样算法，能够比有限步长的离散时间采样算法提供更好的样本质量。大量实验表明，在自然语言生成和机器翻译任务中，我们的方法在离散扩散模型的生成速度和样本质量方面表现出优越性。

Dec, 2023

Diffusion-TracIn 和 Diffusion-ReTrac 方法针对扩散模型的时间动态性进行了研究，通过重新归一化适应性，以减少普遍具有影响力的样本数量，从而提供了更直观的可视化，并通过各种评估指标和辅助任务证明了方法的有效性。

Jan, 2024

本文提出了一种名为 Drift-Reducing Rehearsal (DRR) 的新型排练策略，以减轻连续领域漂移并在在线持续学习中实现最先进的性能。

May, 2024