通过设计一个优化问题,并使用约束信任区域方法,我们提出了一种针对特定数值 ODE 解算器的扩散概率模型 (DPMs) 寻找更合适的时间步长的通用框架,该框架能显著改善图像生成性能。
Feb, 2024
介绍了一种新的框架 ——“定制 ODE 求解器”,用于构建针对预训练流模型的自定义 ODE 求解器,优化了顺序一致和参数高效的求解器,并在逼近质量和生成质量方面与专用求解器相比显著提高。
Oct, 2023
本文提出了一种用于采样扩散概率模型的快速高阶求解器 DPM-Solver,并通过自适应求解扩散常微分方程,可在数百或数千步骤内使用较小的神经网络采样高质量样本,相比于以往方法有明显速度优势
Jun, 2022
扩散模型的实例教学方法和分布教学方法在图像生成模型方面取得了显著的研究成果,提出的分布教学方法在减少训练图像数量的同时取得了最先进的结果,提高了对高效图像生成模型的理解并为各种应用提供了可扩展的框架。
May, 2024
基于图的扩散模型在解决 NP 完全问题的组合优化中展现了有希望的结果。然而,由于去噪扩散过程的迭代评估特性,这些模型通常在推理时效率低下。本文提出使用渐进蒸馏来加速推理过程,通过在去噪过程中只进行少量步骤的预测(例如,在单个步骤中预测未来两步)。我们的实验结果表明,经过渐进蒸馏的模型在 TSP-50 数据集上仅仅损失 0.019% 的性能,而推理速度却提高了 16 倍。
Aug, 2023
LD3 是一个轻量级的学习时间离散化的框架,可在采样 Diffusion ODE 时与各种求解器结合使用,从而提高采样效率并减少计算开销。
通过新的参数化方法和扩散模型的渐进提炼过程,从而在不降低感知质量的前提下将采样步骤尽量减少到四步,从而提高了采样效率,并为生成建模提供了高效的解决方案。
Feb, 2022
本文提出 DPM-Solver++,一种高阶求解器,用于改善和加速基于指南的扩散概率模型的采样质量,并且比先前的高阶求解器更稳定和快速。实验证明,在像素空间和潜空间 DPM 的引导采样中,DPM-Solver++ 仅需要 15 到 20 步即可生成高质量样本。
Nov, 2022
通过几何观察每条采样轨迹几乎位于嵌入环境空间中的二维子空间中,我们提出了一种名为 AMED-Solver 的近似均值方向求解器,通过直接学习均值方向来消除截断误差进行快速扩散采样,并且可以作为插件进一步改进现有的基于 ODE 的采样器。
Nov, 2023
本研究提出了在相同采样过程的不同采样步骤中使用不同的采样器(ODE/SDE)的可行性,并通过实验证明这种多采样器调度在一定程度上改善了采样结果。特别是通过在早期采样步骤中使用 SDE 和在后期采样步骤中使用 ODE 的组合调度,解决了使用两个单一采样器所引发的固有问题,从而提高了采样效率和质量。