Oct, 2023

探索使用概率流动 ODE 的密度估计的对抗鲁棒性

PDF
TL;DR研究通过概率流神经常微分方程模型对梯度似然最大化攻击的密度估计鲁棒性以及与样本复杂度的关系，介绍和评估六种梯度似然最大化攻击，实验结果表明使用概率流神经常微分方程模型的密度估计对高复杂度和高似然攻击是鲁棒的，有时敌对样本具有语义上的意义，符合预期。
score-based diffusion modelsdensity estimationprobability flow neural ordinary differential equation modellikelihood maximization attackssample complexity
发现论文，激发创造
  • 可证明快速的概率流常微分方程

    提供了一种基于分数的生成建模的概率流 ODE 实现的首个多项式时间收敛性保证，并通过基于欠阻尼朗之万扰动的特殊校正步骤获得了更好的维度依赖性。

    May, 2023

  • 扩散 ODE 的最大似然估计的改进技术

    本研究提出多个改进扩散 ODE 的最大似然估计技术，包括训练和评估技术，通过这些技术，我们无需变分去量化或数据增强在图像数据集上实现了具有最先进似然估计结果（CIFAR-10 上的 2.56，ImageNet-32 上的 3.43）。

    May, 2023

  • 通过神经微分方程进行分布学习：一种非参数统计的观点

    用普通微分方程（ODE）模型通过似然最大化进行训练的分布学习的非参数统计收敛分析是首次建立的，将速度场类和目标密度的相关收敛率以及对神经网络的影响纳入考虑。

    Sep, 2023

  • 流匹配方法的误差界

    本文提出了一种使用完全确定性采样的流匹配过程，该过程利用概率流 ODE 方法和去噪扩散隐式模型，为基于 ODE 的生成模型提供了误差界限。

    May, 2023

  • 基于分值的生成模型的概率流动常微分方程的收敛分析

    基于分数的生成模型中，我们从理论和数值的角度研究了基于概率流 ODE 的确定性采样器的收敛性质，并证明了目标和生成数据分布之间的总变差可以在连续时间层面上通过 d√δ（其中 d 表示数据维度，δ 表示 L2 - 评分匹配误差）被上界限制，并针对使用 p 阶 Runge-Kutta 积分器进行具体实现的情况，建立了离散层面上的误差界限为 O (d (√δ + (dh)^p))。最后，我们进行了高达 128 个维度的问题的数值研究，验证了我们的理论，结果表明更好的评分匹配误差和维度依赖性。

    Apr, 2024

  • ODE-DPS: 基于 ODE 的扩散后验采样方法解决偏微分方程逆问题

    利用基于评分的生成扩散模型，我们介绍了一种新颖的无监督反演方法，针对由偏微分方程引起的逆问题，通过解决一个逆向时间的随机微分方程来实现将后验分布作为条件生成过程的任务。此外，为了提高反演结果的准确性，我们提出了一种基于 ODE 的扩散后验采样反演算法。通过一系列涉及各种偏微分方程的实验证明了我们提出方法的效率和鲁棒性。

    Apr, 2024

  • 关于 Wasserstein 距离中扩散模型的一般概率流 ODE 的收敛性分析

    使用概率流常微分方程进行基于得分的生成建模已经在各种应用领域取得了显著的成功。本文首次提供了关于概率流常微分方程采样器的非渐近收敛性分析，假定得分估计准确，并在 2-Wasserstein 距离下建立了一系列 ODE 采样器的迭代复杂性结果。

    Jan, 2024

  • 深度条件生成学习：模型和误差分析

    我们介绍了一种基于常微分方程（ODE）的深度生成方法，称为条件 Follmer 流。该方法能够将标准高斯分布有效地转换为目标条件分布。在实现上，我们使用欧拉方法离散化流，并使用深度神经网络非参数地估计速度场。此外，我们推导出学习样本分布与目标分布之间的 Wasserstein 距离的非渐近收敛速率，为通过 ODE 流进行条件分布学习提供了首个全面的端到端误差分析。我们的数值实验展示了其在一系列场景中的有效性，从标准的非参数条件密度估计问题到涉及图像数据的更复杂挑战，证明了它在各种现有条件密度估计方法上的优势。

    Feb, 2024

  • 扩散模型生成过程最优选择的探索：普通微分方程与随机微分方程对比

    本文主要研究了扩散模型在计算机视觉中的应用，比较和分析了基于 ODE 和 SDE 的概率流和扩散模型在不同情况下的性能差异，研究表明，对于特定的脉冲形状误差，扩散系数越大，使用 SDE 模型生成样本的误差就会指数级下降，并且变化扩散系数可以提高样本质量。

    Jun, 2023

  • 基于 ODE 的扩散采样的轨迹规律性

    扩散基于生成模型使用随机微分方程和其等效的常微分方程在复杂数据分布与可追踪的先验分布之间建立平滑连接。本文中，我们发现扩散模型的基于常微分方程的采样过程中存在着一些有趣的轨迹特性。我们表征了一个隐式去噪轨迹，并讨论了其在形成具有强形状规律性的耦合采样轨迹中的重要作用，无论生成的内容是什么。我们还描述了一种基于动态规划的方案，使得采样的时间安排更好地适应底层轨迹结构。这种简单的策略对于任何给定的基于常微分方程的数值求解器只需要最小的修改，并且在计算成本几乎可忽略的情况下，能够在图像生成中提供卓越的性能，特别是在 5 到 10 个函数评估中。

    May, 2024