- 基于 ODE 的扩散模型快速采样约 5 步
通过几何观察每条采样轨迹几乎位于嵌入环境空间中的二维子空间中,我们提出了一种名为 AMED-Solver 的近似均值方向求解器,通过直接学习均值方向来消除截断误差进行快速扩散采样,并且可以作为插件进一步改进现有的基于 ODE 的采样器。
- 通过同时估计图像和噪声改进去噪扩散模型
通过逆扩散过程改进图像生成速度和质量的两个主要贡献是:首先,通过在图像和噪声之间的四分之一圆弧角度上重新参数化扩散过程,消除了两个奇点,并将扩散演化表达为良好行为的常微分方程。其次,直接使用网络直接估计图像和噪声,使得逆扩散步骤中的更新步骤 - DPM-Solver-v3:改进的扩散 ODE 求解器与经验模型统计
该研究提出了一种新的改进方法,通过最小化高保真图像生成中的采样误差,建立了一种针对传播概率模型的新的快速 ODE 求解器 DPM-Solver-v3,并通过引入一些在预训练模型上高效计算的系数,提高了样本质量。
- DiffuSeq-v2:连接离散和连续文本空间以加速 Seq2Seq 扩散模型
在这篇论文中,我们介绍了一种软吸收状态,它有助于扩展扩散模型学习基于高斯空间的离散突变重构,从而增强其恢复条件信号的能力。在采样阶段,我们使用最先进的 ODE 求解器在连续空间中加快采样过程。全面的实验评估显示,我们提出的方法通过 4 倍加 - 将扩散模型的 ODE 求解器提炼为更小的步骤
提出了一种简单的蒸馏方法,通过优化 ODE 求解器而不是训练去噪网络,来提高扩散模型的采样速度和图像质量。通过蒸馏过程,D-ODE 求解器在生成样本时优于其他 ODE 求解器。
- 扩展逆时间 SDE 扩散模型解空间的阐明
通过将采样过程定义为扩展的逆时间随机微分方程 (ERSDE),我们提出了 ER-SDE 求解器,为扩散模型 (DM) 的图像生成速度带来了突破性的提升,并在 ImageNet 64×64 数据集上实现了 3.45 FID 的效果。
- 优化集成逼近加速扩散采样过程
优化 ODE 求解器系数的积分逼近技术提升了基于 ODE 的采样算法的性能并加速了采样过程。
- 基于离散图结构的分布式条件扩散用于分子图生成
本文提出了一种基于条件扩散的离散图结构(CDGS)的分子图生成方法,通过随机微分方程(SDE)实现正向图扩散过程并得出离散图结构作为逆向生成过程的条件,利用普通微分方程(ODE)求解器进行高效的图采样,在各种数据集上验证了该框架的有效性,特 - DPM-Solver:一个快速的 ODE 求解器,用于在大约 10 步内进行扩散概率模型抽样
本文提出了一种用于采样扩散概率模型的快速高阶求解器 DPM-Solver,并通过自适应求解扩散常微分方程,可在数百或数千步骤内使用较小的神经网络采样高质量样本,相比于以往方法有明显速度优势
- 通过解非线性方程训练生成对抗网络
通过研究由 GAN 训练引起的连续时间动力学,我们验证了基于 ODE 求解器的方法(如 Runge-Kutta),结合控制积分误差的正则化器,可以稳定训练 GAN,这一方法胜过先前的一些强基线方法。
- 普通微分方程的概率解作为非线性贝叶斯滤波:新视角
本文提出了一种以高斯过程回归为基础的概率数值逼近方法来解决常微分方程,通过构建一个测量序列,观测高斯过程导数和向量场之间的差值,可以将问题转化为非线性贝叶斯滤波问题,从而推导出新颖的高斯支持 ODE 算法以及粒子滤波方法的非高斯近似。
- NIPS具有龙格 - 库塔平均数的概率 ODE 求解器
本研究构建了一族概率数值方法,利用高斯 - 马尔科夫过程定义微分方程的概率分布,并通过与经典 Runge-Kutta 方法进行比较来确保其后验均值完全匹配,为微分方程解决方案提供更丰富的概率输出。