Jun, 2024

具有保持测度的动力学的 SDE 扩散模型中的稳定性和泛化能力

PDF
TL;DR逆问题与扩散模型、保度量动力学、随机动力系统和动力学感知的扩散生成模型 (D3GM) 有关，并揭示了以上几个策略的稳定性和广泛适用性，以及 D3GM 在多个基准测试中的有效性。
inverse problemsdiffusion modelsmeasure-preserving dynamicsrandom dynamical systemsdynamics-aware sde diffusion generative model
发现论文，激发创造
  • 扩散模型的几何视角

    本文研究扩散模型的采样动力学，通过挖掘它的几何结构，提出一种简单却强大的采样理论框架，并将扩散模型的优化与经典的均值偏移算法关联起来。

    May, 2023

  • 一种灵活的扩散模型

    本研究提出了一个通用的模型参数化框架，尤其是针对前向 SDE 的空间部分，通过理论保障和实验证明了其优越性。

    Jun, 2022

  • 稳定扩散过程的因果建模

    我们开发了一种新的因果推断方法，通过学习随机微分方程 (SDEs) 的稳定密度来模拟系统在干预下的行为，而不需要因果图的结构方程，并且无需考虑无环性的常见假设。我们表明，在若干情况下，这些稳定扩散模型对于变量上的未观测干预进行了推广，通常比传统方法更好。我们的推断方法基于一个新的理论结果，通过在再生核希尔伯特空间中表达扩散的生成器上的稳定条件。由此产生的核函数离稳定性的偏差 (KDS) 是一个独立感兴趣的目标函数。

    Oct, 2023

  • 逆向随机微分方程的基于得分的生成建模：反演和生成

    该论文提出了基于 BSDE 的扩散模型，采用适应现有评分函数的方法，确定在达到所需终端分布所需的初始条件。研究表明，采用 Lipschitz 网络进行评分匹配具有优势，该方法具有应用于不同领域（如扩散反演、条件扩散和不确定性量化）的潜力。该工作对得分为基础的生成学习领域做出了贡献，并为解决实际问题提供了一个有前途的方向。

    Apr, 2023

  • 应用于基于得分的生成建模的扩散薛定谔桥

    通过将高斯噪声逐渐应用于复杂的数据分布，构建了一个确定性的生成模型，对应于具有时间不均匀漂移的倒退随机微分方程，用基于分数匹配的方法估计漂移。本文提出了 Diffusion SB 方法来处理 Schrödinger Bridge 问题，近似了迭代比例拟合过程，DSB 具有广泛的适用性，是流形上 Sinkhorn 算法的连续状态空间概率化推广。

    Jun, 2021

  • 基于分数的随机微分方程生成建模

    本文提出了一种基于随机微分方程的得分模型生成方法，通过缓慢注入噪声将复杂数据分布平滑地转换为已知的先验分布，并通过缓慢地消除噪声将先验分布转换回数据分布，同时利用基于神经网络的得分生成建模技术可以精确估计这些得分，并使用数值微分方程求解器生成样本。

    Nov, 2020

  • ODE-DPS: 基于 ODE 的扩散后验采样方法解决偏微分方程逆问题

    利用基于评分的生成扩散模型，我们介绍了一种新颖的无监督反演方法，针对由偏微分方程引起的逆问题，通过解决一个逆向时间的随机微分方程来实现将后验分布作为条件生成过程的任务。此外，为了提高反演结果的准确性，我们提出了一种基于 ODE 的扩散后验采样反演算法。通过一系列涉及各种偏微分方程的实验证明了我们提出方法的效率和鲁棒性。

    Apr, 2024

  • 风险敏感扩散：从噪声采样中学习潜在分布

    通过引入风险敏感的随机微分方程，我们的研究表明扩散模型在存在噪声样本时非常脆弱，限制了其在诸多设置中的潜力，我们通过调整噪声样本的分布并减少误导性信息，成功地从噪声样本中恢复出干净的数据分布，实验证明我们的模型在合成和真实数据集上明显优于条件生成基准模型。

    Feb, 2024

  • 扩展逆时间 SDE 扩散模型解空间的阐明

    通过将采样过程定义为扩展的逆时间随机微分方程 (ERSDE)，我们提出了 ER-SDE 求解器，为扩散模型 (DM) 的图像生成速度带来了突破性的提升，并在 ImageNet 64×64 数据集上实现了 3.45 FID 的效果。

    Sep, 2023

  • 基于 ODE 的扩散采样的轨迹规律性

    扩散基于生成模型使用随机微分方程和其等效的常微分方程在复杂数据分布与可追踪的先验分布之间建立平滑连接。本文中，我们发现扩散模型的基于常微分方程的采样过程中存在着一些有趣的轨迹特性。我们表征了一个隐式去噪轨迹，并讨论了其在形成具有强形状规律性的耦合采样轨迹中的重要作用，无论生成的内容是什么。我们还描述了一种基于动态规划的方案，使得采样的时间安排更好地适应底层轨迹结构。这种简单的策略对于任何给定的基于常微分方程的数值求解器只需要最小的修改，并且在计算成本几乎可忽略的情况下，能够在图像生成中提供卓越的性能，特别是在 5 到 10 个函数评估中。

    May, 2024