Aug, 2023

通过渐进蒸馏加速基于扩散的组合优化求解器

PDF
TL;DR基于图的扩散模型在解决 NP 完全问题的组合优化中展现了有希望的结果。然而，由于去噪扩散过程的迭代评估特性，这些模型通常在推理时效率低下。本文提出使用渐进蒸馏来加速推理过程，通过在去噪过程中只进行少量步骤的预测（例如，在单个步骤中预测未来两步）。我们的实验结果表明，经过渐进蒸馏的模型在 TSP-50 数据集上仅仅损失 0.019% 的性能，而推理速度却提高了 16 倍。
graph-based diffusion modelscombinatorial optimization problemsprogressive distillationinference efficiencydenoising process
发现论文，激发创造
  • 渐进式蒸馏：用于快速采样扩散模型

    通过新的参数化方法和扩散模型的渐进提炼过程，从而在不降低感知质量的前提下将采样步骤尽量减少到四步，从而提高了采样效率，并为生成建模提供了高效的解决方案。

    Feb, 2022

  • 将扩散模型的 ODE 求解器提炼为更小的步骤

    提出了一种简单的蒸馏方法，通过优化 ODE 求解器而不是训练去噪网络，来提高扩散模型的采样速度和图像质量。通过蒸馏过程，D-ODE 求解器在生成样本时优于其他 ODE 求解器。

    Sep, 2023

  • DISCO: 大规模组合优化问题的高效扩散求解器

    提出了一种用于组合优化问题的高效扩散求解器 DISCO，通过快速去噪和限制采样空间的方法，在解决质量和推理速度方面表现出色。

    Jun, 2024

  • 逆蛋白质折叠的图形去噪扩散

    提出了一种新颖的图去噪扩散模型，使用氨基酸替代矩阵对扩散过程进行编码，并在多种基准方法中实现了最先进的序列恢复性能，为特定的蛋白质骨架结构生成多样性的蛋白序列具有极大的潜力。

    Jun, 2023

  • 通过几何分解的快速扩散采样器用于逆问题

    提出了一种新颖有效的扩散采样策略，将样本分解为在清洁数据流形上投影得到的 “去噪” 部分和诱导样本向下一级噪声流形过渡的 “噪声” 部分，可以更快和更精确地进行采样。在挑战性的实际医学逆成像问题中实现了最先进的重构质量，并且比以前的最先进方法快 80 倍以上。

    Mar, 2023

  • 关于引导式扩散模型的精馏

    本文介绍了一种将分类器自由引导扩散模型蒸馏为更快采样的方法，以减少推理时间，并取得了与原始模型相当的图像有效性。

    Oct, 2022

  • 并非所有步骤相等：高效生成与渐进传播模型

    提出了一种名为 Step-Adaptive Training 的创新训练策略，通过在初始阶段训练一个基础去噪模型来涵盖所有时间步长，然后将时间步长分成不同的组，在每个组内进行微调以实现专门的去噪能力，这种方法不仅提高了模型性能，还显著降低了计算成本。

    Dec, 2023

  • 将扩散模型融合为条件生成对抗网络

    我们提出了一种方法将复杂的多步扩散模型提炼为单步有条件生成对抗网络学生模型，从而大大加速推理过程，同时保持图像质量。我们的方法将扩散提炼解释为一种对应的图像到图像转换任务，使用扩散模型 ODE 轨迹的噪声到图像对。为了进行高效的回归损失计算，我们提出了一种在扩散模型的潜空间中直接操作的感知损失 E-LatentLPIPS，利用增强的集合。此外，我们改进了扩散模型，构建了一个多尺度鉴别器，具有文本对齐损失，建立了一种有效的基于条件生成对抗网络的公式。即使考虑到数据集构建成本，E-LatentLPIPS 也比许多现有的提炼方法更高效。我们证明我们的一步生成器在零样本 COCO 基准测试上优于最先进的一步扩散提炼模型 - DMD、SDXL-Turbo 和 SDXL-Lightning。

    May, 2024

  • 即插即用扩散蒸馏

    我们提出了一种新的蒸馏方法，可以减少迭代计算过程中无需分类器指导的扩散模型的推理计算时间，并且只需要基础模型的 1％的可训练参数，同时还能维持生成图像的视觉逼真度。

    Jun, 2024

  • 加速基于得分的扩散模型的收敛性证明

    设计了加速常见确定性和随机抽样算法的训练免费算法，加速度确定性和随机抽样器的汇率超过 DDIM 和 DDPM 抽样器的速度。

    Mar, 2024