定制的生成流模型求解器
通过几何观察每条采样轨迹几乎位于嵌入环境空间中的二维子空间中，我们提出了一种名为 AMED-Solver 的近似均值方向求解器，通过直接学习均值方向来消除截断误差进行快速扩散采样，并且可以作为插件进一步改进现有的基于 ODE 的采样器。
Nov, 2023
本研究提出了在相同采样过程的不同采样步骤中使用不同的采样器（ODE/SDE）的可行性，并通过实验证明这种多采样器调度在一定程度上改善了采样结果。特别是通过在早期采样步骤中使用 SDE 和在后期采样步骤中使用 ODE 的组合调度，解决了使用两个单一采样器所引发的固有问题，从而提高了采样效率和质量。
Nov, 2023
提出了一种简单的蒸馏方法，通过优化 ODE 求解器而不是训练去噪网络，来提高扩散模型的采样速度和图像质量。通过蒸馏过程，D-ODE 求解器在生成样本时优于其他 ODE 求解器。
Sep, 2023
本文提出了一种用于采样扩散概率模型的快速高阶求解器 DPM-Solver，并通过自适应求解扩散常微分方程，可在数百或数千步骤内使用较小的神经网络采样高质量样本，相比于以往方法有明显速度优势
Jun, 2022
扩散基于生成模型使用随机微分方程和其等效的常微分方程在复杂数据分布与可追踪的先验分布之间建立平滑连接。本文中，我们发现扩散模型的基于常微分方程的采样过程中存在着一些有趣的轨迹特性。我们表征了一个隐式去噪轨迹，并讨论了其在形成具有强形状规律性的耦合采样轨迹中的重要作用，无论生成的内容是什么。我们还描述了一种基于动态规划的方案，使得采样的时间安排更好地适应底层轨迹结构。这种简单的策略对于任何给定的基于常微分方程的数值求解器只需要最小的修改，并且在计算成本几乎可忽略的情况下，能够在图像生成中提供卓越的性能，特别是在 5 到 10 个函数评估中。
May, 2024
通过提出一个统一的采样框架（USF）研究求解器的可选策略，我们进一步揭示出采取不同的求解策略在不同的时间步骤可能有助于进一步减少截断误差，且精心设计的求解器计划有潜力在较大程度上提高样本质量。我们还提出了 $S^3，一个基于预测模型的搜索方法，可以自动优化求解器计划以获取更好的时间 - 质量权衡。通过对 CIFAR-10、CelebA、ImageNet 和 LSUN-Bedroom 数据集的实验证明，$S^3 能够找到优秀的求解器计划，在 10 次函数评估下实现了 2.69 的 FID，5 次函数评估下实现了 6.86 的 FID，明显优于现有方法。此外，我们还将 $S^3 应用于稳定扩散模型，获得了 2 倍的加速比，展示了在非常少的步骤中进行采样而无需重新训练神经网络的可行性。
Dec, 2023
我们引入了一种名为高斯混合求解器 (GMS) 的新型 SDE-based 求解器用于扩散模型，通过在采样过程中估计前三阶矩并使用广义矩估计法优化高斯混合转移核的参数，我们的求解器在图像生成和基于笔画的合成等各种扩散模型中在样本质量方面优于许多其他 SDE-based 求解器，验证了 GMS 的动机和效果。
Nov, 2023
该研究提出了一种新的改进方法，通过最小化高保真图像生成中的采样误差，建立了一种针对传播概率模型的新的快速 ODE 求解器 DPM-Solver-v3，并通过引入一些在预训练模型上高效计算的系数，提高了样本质量。
Oct, 2023
利用基于评分的生成扩散模型，我们介绍了一种新颖的无监督反演方法，针对由偏微分方程引起的逆问题，通过解决一个逆向时间的随机微分方程来实现将后验分布作为条件生成过程的任务。此外，为了提高反演结果的准确性，我们提出了一种基于 ODE 的扩散后验采样反演算法。通过一系列涉及各种偏微分方程的实验证明了我们提出方法的效率和鲁棒性。
Apr, 2024