Aug, 2023

扩散模型采样的改进序分析和指数积分器设计

PDF
TL;DR通过重新评估高阶微分求解器设计，揭示现有高阶指数积分器求解器的退化源于关键的阶次条件的缺失，并结合指数积分器理论，提出满足所有阶次条件的改进指数积分求解器，即细化指数求解器（RES），利用这些改进的求解器，RES 在理论上具有更有利的误差上界，并在实际应用中实现了更高的采样效率和稳定性。
differential equation solversexponential integratorssampling algorithmsorder conditionsrefined exponential solver
发现论文，激发创造
  • 指数积分快速采样扩散模型

    研究 Diffusion models（DMs）的采样过程，提出了一种基于指数积分器的采样方法，可以在较少的步骤中生成高保真的样本，并在有限的评分功能评估数下达到最新的采样性能。

    Apr, 2022

  • 普适的扩散概率模型求解搜索统一抽样框架

    通过提出一个统一的采样框架（USF）研究求解器的可选策略，我们进一步揭示出采取不同的求解策略在不同的时间步骤可能有助于进一步减少截断误差，且精心设计的求解器计划有潜力在较大程度上提高样本质量。我们还提出了 $S^3，一个基于预测模型的搜索方法，可以自动优化求解器计划以获取更好的时间 - 质量权衡。通过对 CIFAR-10、CelebA、ImageNet 和 LSUN-Bedroom 数据集的实验证明，$S^3 能够找到优秀的求解器计划，在 10 次函数评估下实现了 2.69 的 FID，5 次函数评估下实现了 6.86 的 FID，明显优于现有方法。此外，我们还将 $S^3 应用于稳定扩散模型，获得了 2 倍的加速比，展示了在非常少的步骤中进行采样而无需重新训练神经网络的可行性。

    Dec, 2023

  • 概率指数积分器

    本文提出了基于概率的指数积分器来处理半线性问题，并将其推广到任意非线性系统，通过实验验证，该方法在提高稳定性和效率方面表现出优越性，从而扩大了概率数值计算的适用范围。

    May, 2023

  • SEEDS: 基于指数随机微分方程的快速高质量扰动模型采样器

    本文提出了 SEEDS 方法，用于快速且精确地从 DPMs 中采样，在多个框架中改进和推广指数积分器方法，引入高阶项，使其比以前的 SDE 方法快 3-5 倍，在图像生成基准测试中验证了该方法的性能。

    May, 2023

  • 优化时间步长加速扩散采样

    通过设计一个优化问题，并使用约束信任区域方法，我们提出了一种针对特定数值 ODE 解算器的扩散概率模型 (DPMs) 寻找更合适的时间步长的通用框架，该框架能显著改善图像生成性能。

    Feb, 2024

  • 优化集成逼近加速扩散采样过程

    优化 ODE 求解器系数的积分逼近技术提升了基于 ODE 的采样算法的性能并加速了采样过程。

    Apr, 2023

  • SciRE-Solver: 基于得分积分器和递归导数估计的扩散概率模型高效采样

    提出了一种适用于扩散概率模型的高效取样器，通过引入分数积分解算器和递归导数估计方法，实现了具有收敛性保证的高效取样算法，与现有的无需预训练的取样算法相比，在离散时间和连续时间的扩散概率模型上取得了最先进的取样性能。

    Aug, 2023

  • 扩散模型采样调度器

    本研究提出了在相同采样过程的不同采样步骤中使用不同的采样器（ODE/SDE）的可行性，并通过实验证明这种多采样器调度在一定程度上改善了采样结果。特别是通过在早期采样步骤中使用 SDE 和在后期采样步骤中使用 ODE 的组合调度，解决了使用两个单一采样器所引发的固有问题，从而提高了采样效率和质量。

    Nov, 2023

  • DPM-Solver：一个快速的 ODE 求解器，用于在大约 10 步内进行扩散概率模型抽样

    本文提出了一种用于采样扩散概率模型的快速高阶求解器 DPM-Solver，并通过自适应求解扩散常微分方程，可在数百或数千步骤内使用较小的神经网络采样高质量样本，相比于以往方法有明显速度优势

    Jun, 2022

  • 扩展逆时间 SDE 扩散模型解空间的阐明

    通过将采样过程定义为扩展的逆时间随机微分方程 (ERSDE)，我们提出了 ER-SDE 求解器，为扩散模型 (DM) 的图像生成速度带来了突破性的提升，并在 ImageNet 64×64 数据集上实现了 3.45 FID 的效果。

    Sep, 2023