Sep, 2023

SA-Solver: 随机亚当求解器用于快速采样扩散模型

PDF
TL;DR该研究通过对扩散概率模型中的随机采样进行综合分析，从方差控制的扩散 SDE 和线性多步 SDE 求解器两个方面提出了改进的高效随机 Adams 方法 SA-Solver，用于生成高质量的数据，在少量函数评估次数下取得改进或可比性能，并在适当的函数评估次数下在大规模基准数据集上获得 SOTA FID 分数。
diffusion probabilistic modelsdpmsstochastic samplingsa-solverbenchmark datasets
发现论文，激发创造
  • DPM-Solver：一个快速的 ODE 求解器，用于在大约 10 步内进行扩散概率模型抽样

    本文提出了一种用于采样扩散概率模型的快速高阶求解器 DPM-Solver，并通过自适应求解扩散常微分方程，可在数百或数千步骤内使用较小的神经网络采样高质量样本，相比于以往方法有明显速度优势

    Jun, 2022

  • 扩散模型采样调度器

    本研究提出了在相同采样过程的不同采样步骤中使用不同的采样器（ODE/SDE）的可行性，并通过实验证明这种多采样器调度在一定程度上改善了采样结果。特别是通过在早期采样步骤中使用 SDE 和在后期采样步骤中使用 ODE 的组合调度，解决了使用两个单一采样器所引发的固有问题，从而提高了采样效率和质量。

    Nov, 2023

  • ERA-Solver: 误差鲁棒的 Adams 求解器，用于快速采样扩散概率模型

    本文提出了一种基于 Adams 求解器和 Lagrange 插值的 ERA-Solver 方法，用于针对 DDPMs 中噪声估计的错误进行改进，该方法在图像生成方面取得了良好效果。

    Jan, 2023

  • DPM-Solver++：用于扩散概率模型引导抽样的快速求解器

    本文提出 DPM-Solver++，一种高阶求解器，用于改善和加速基于指南的扩散概率模型的采样质量，并且比先前的高阶求解器更稳定和快速。实验证明，在像素空间和潜空间 DPM 的引导采样中，DPM-Solver++ 仅需要 15 到 20 步即可生成高质量样本。

    Nov, 2022

  • SEEDS: 基于指数随机微分方程的快速高质量扰动模型采样器

    本文提出了 SEEDS 方法，用于快速且精确地从 DPMs 中采样，在多个框架中改进和推广指数积分器方法，引入高阶项，使其比以前的 SDE 方法快 3-5 倍，在图像生成基准测试中验证了该方法的性能。

    May, 2023

  • 普适的扩散概率模型求解搜索统一抽样框架

    通过提出一个统一的采样框架（USF）研究求解器的可选策略，我们进一步揭示出采取不同的求解策略在不同的时间步骤可能有助于进一步减少截断误差，且精心设计的求解器计划有潜力在较大程度上提高样本质量。我们还提出了 $S^3，一个基于预测模型的搜索方法，可以自动优化求解器计划以获取更好的时间 - 质量权衡。通过对 CIFAR-10、CelebA、ImageNet 和 LSUN-Bedroom 数据集的实验证明，$S^3 能够找到优秀的求解器计划，在 10 次函数评估下实现了 2.69 的 FID，5 次函数评估下实现了 6.86 的 FID，明显优于现有方法。此外，我们还将 $S^3 应用于稳定扩散模型，获得了 2 倍的加速比，展示了在非常少的步骤中进行采样而无需重新训练神经网络的可行性。

    Dec, 2023

  • DPM-Solver-v3：改进的扩散 ODE 求解器与经验模型统计

    该研究提出了一种新的改进方法，通过最小化高保真图像生成中的采样误差，建立了一种针对传播概率模型的新的快速 ODE 求解器 DPM-Solver-v3，并通过引入一些在预训练模型上高效计算的系数，提高了样本质量。

    Oct, 2023

  • 扩散模型的高斯混合求解器

    我们引入了一种名为高斯混合求解器 (GMS) 的新型 SDE-based 求解器用于扩散模型，通过在采样过程中估计前三阶矩并使用广义矩估计法优化高斯混合转移核的参数，我们的求解器在图像生成和基于笔画的合成等各种扩散模型中在样本质量方面优于许多其他 SDE-based 求解器，验证了 GMS 的动机和效果。

    Nov, 2023

  • 优化时间步长加速扩散采样

    通过设计一个优化问题，并使用约束信任区域方法，我们提出了一种针对特定数值 ODE 解算器的扩散概率模型 (DPMs) 寻找更合适的时间步长的通用框架，该框架能显著改善图像生成性能。

    Feb, 2024

  • SciRE-Solver: 基于得分积分器和递归导数估计的扩散概率模型高效采样

    提出了一种适用于扩散概率模型的高效取样器，通过引入分数积分解算器和递归导数估计方法，实现了具有收敛性保证的高效取样算法，与现有的无需预训练的取样算法相比，在离散时间和连续时间的扩散概率模型上取得了最先进的取样性能。

    Aug, 2023