Jul, 2023

扩散动力的动量采样用于减轻发散伪像

PDF
TL;DR本研究通过将现有的扩散数值方法引入重力球（HB）动量技术和构建广义重力球（GHVB）高阶方法，解决了扩散模型图像生成中常见的低采样步骤下发散伪影和提高图像质量的问题。
发现论文，激发创造
  • 优化时间步长加速扩散采样

    通过设计一个优化问题，并使用约束信任区域方法，我们提出了一种针对特定数值 ODE 解算器的扩散概率模型 (DPMs) 寻找更合适的时间步长的通用框架，该框架能显著改善图像生成性能。

    Feb, 2024

  • 扩散模型的几何视角

    本文研究扩散模型的采样动力学，通过挖掘它的几何结构，提出一种简单却强大的采样理论框架，并将扩散模型的优化与经典的均值偏移算法关联起来。

    May, 2023

  • 基于得分的生成模型与自适应动量

    通过引入适应性动量采样，有效加速了转换过程，同时在小样本步骤中产生更加逼真的图像 / 图表，并在图像和图表生成任务中获得了有竞争力的评分。

    May, 2024

  • 基于 ODE 的扩散采样的轨迹规律性

    扩散基于生成模型使用随机微分方程和其等效的常微分方程在复杂数据分布与可追踪的先验分布之间建立平滑连接。本文中，我们发现扩散模型的基于常微分方程的采样过程中存在着一些有趣的轨迹特性。我们表征了一个隐式去噪轨迹，并讨论了其在形成具有强形状规律性的耦合采样轨迹中的重要作用，无论生成的内容是什么。我们还描述了一种基于动态规划的方案，使得采样的时间安排更好地适应底层轨迹结构。这种简单的策略对于任何给定的基于常微分方程的数值求解器只需要最小的修改，并且在计算成本几乎可忽略的情况下，能够在图像生成中提供卓越的性能，特别是在 5 到 10 个函数评估中。

    May, 2024

  • 优化集成逼近加速扩散采样过程

    优化 ODE 求解器系数的积分逼近技术提升了基于 ODE 的采样算法的性能并加速了采样过程。

    Apr, 2023

  • 扩散模型的高斯混合求解器

    我们引入了一种名为高斯混合求解器 (GMS) 的新型 SDE-based 求解器用于扩散模型，通过在采样过程中估计前三阶矩并使用广义矩估计法优化高斯混合转移核的参数，我们的求解器在图像生成和基于笔画的合成等各种扩散模型中在样本质量方面优于许多其他 SDE-based 求解器，验证了 GMS 的动机和效果。

    Nov, 2023

  • 扩展逆时间 SDE 扩散模型解空间的阐明

    通过将采样过程定义为扩展的逆时间随机微分方程 (ERSDE)，我们提出了 ER-SDE 求解器，为扩散模型 (DM) 的图像生成速度带来了突破性的提升，并在 ImageNet 64×64 数据集上实现了 3.45 FID 的效果。

    Sep, 2023

  • 使用最优边界条件解决扩散常微分方程以实现更好的图像超分辨率

    通过有效控制扩散模型回流过程中的随机性来提高预训练图像超分辨率模型的采样质量，在边界条件的选择上，我们通过对整个空间的高效探索来获取近似最优边界条件，并且通过我们的方法进行的采样结果质量要优于现有方法的随机结果。

    May, 2023

  • 快速扩散模型

    提出了快速扩散模型（FDM），它将扩散模型（DM）的扩散过程从随机优化角度进行改进，以加速训练和采样。实验证明，FDM 可以应用于多种流行的 DM 框架，并在 CIFAR-10、FFHQ 和 AFHQv2 数据集上具有可比的图像合成性能。而且，FDM 通过将采样步骤减少约 3 倍来实现相似的性能，从而将训练成本降低约 50％。

    Jun, 2023

  • 扩散模型生成过程最优选择的探索：普通微分方程与随机微分方程对比

    本文主要研究了扩散模型在计算机视觉中的应用，比较和分析了基于 ODE 和 SDE 的概率流和扩散模型在不同情况下的性能差异，研究表明，对于特定的脉冲形状误差，扩散系数越大，使用 SDE 模型生成样本的误差就会指数级下降，并且变化扩散系数可以提高样本质量。

    Jun, 2023