SciRE-Solver: 基于得分积分器和递归导数估计的扩散概率模型高效采样
本文提出了一种用于采样扩散概率模型的快速高阶求解器 DPM-Solver,并通过自适应求解扩散常微分方程,可在数百或数千步骤内使用较小的神经网络采样高质量样本,相比于以往方法有明显速度优势
Jun, 2022
该研究提出了一种新的改进方法,通过最小化高保真图像生成中的采样误差,建立了一种针对传播概率模型的新的快速 ODE 求解器 DPM-Solver-v3,并通过引入一些在预训练模型上高效计算的系数,提高了样本质量。
Oct, 2023
通过提出一个统一的采样框架(USF)研究求解器的可选策略,我们进一步揭示出采取不同的求解策略在不同的时间步骤可能有助于进一步减少截断误差,且精心设计的求解器计划有潜力在较大程度上提高样本质量。我们还提出了 $S^3,一个基于预测模型的搜索方法,可以自动优化求解器计划以获取更好的时间 - 质量权衡。通过对 CIFAR-10、CelebA、ImageNet 和 LSUN-Bedroom 数据集的实验证明,$S^3 能够找到优秀的求解器计划,在 10 次函数评估下实现了 2.69 的 FID,5 次函数评估下实现了 6.86 的 FID,明显优于现有方法。此外,我们还将 $S^3 应用于稳定扩散模型,获得了 2 倍的加速比,展示了在非常少的步骤中进行采样而无需重新训练神经网络的可行性。
Dec, 2023
本文提出 DPM-Solver++,一种高阶求解器,用于改善和加速基于指南的扩散概率模型的采样质量,并且比先前的高阶求解器更稳定和快速。实验证明,在像素空间和潜空间 DPM 的引导采样中,DPM-Solver++ 仅需要 15 到 20 步即可生成高质量样本。
Nov, 2022
本研究提出了在相同采样过程的不同采样步骤中使用不同的采样器(ODE/SDE)的可行性,并通过实验证明这种多采样器调度在一定程度上改善了采样结果。特别是通过在早期采样步骤中使用 SDE 和在后期采样步骤中使用 ODE 的组合调度,解决了使用两个单一采样器所引发的固有问题,从而提高了采样效率和质量。
Nov, 2023
通过设计一个优化问题,并使用约束信任区域方法,我们提出了一种针对特定数值 ODE 解算器的扩散概率模型 (DPMs) 寻找更合适的时间步长的通用框架,该框架能显著改善图像生成性能。
Feb, 2024
该研究通过对扩散概率模型中的随机采样进行综合分析,从方差控制的扩散 SDE 和线性多步 SDE 求解器两个方面提出了改进的高效随机 Adams 方法 SA-Solver,用于生成高质量的数据,在少量函数评估次数下取得改进或可比性能,并在适当的函数评估次数下在大规模基准数据集上获得 SOTA FID 分数。
Sep, 2023
本文提出了 SEEDS 方法,用于快速且精确地从 DPMs 中采样,在多个框架中改进和推广指数积分器方法,引入高阶项,使其比以前的 SDE 方法快 3-5 倍,在图像生成基准测试中验证了该方法的性能。
May, 2023