Dec, 2023

逆过程中的噪音增强扩散模型的逼近能力

HTML
PDF
TL;DR该研究论文研究了在生成建模中，基于分数的生成建模方法中，与确定性过程相比，随机反向过程表现更好。研究比较了神经常微分方程（ODEs）和神经随机微分方程（SDEs）作为反向过程的性能，从控制理论的角度分析了神经SDEs近似轨迹的能力，发现了随机性的优势。
发现论文，激发创造
  • 基于分数的随机微分方程生成建模

    本文提出了一种基于随机微分方程的得分模型生成方法，通过缓慢注入噪声将复杂数据分布平滑地转换为已知的先验分布，并通过缓慢地消除噪声将先验分布转换回数据分布，同时利用基于神经网络的得分生成建模技术可以精确估计这些得分，并使用数值微分方程求解器生成样本。

    Nov, 2020

  • 基于得分的生成建模方法及临界阻尼 Langevin 漫步

    通过引入一种新的，临界阻尼Langevin扩散，该文提出一种基于分数的生成模型框架，它可以更轻松地学习条件分布的速度得分函数，这比直接学习数据分数函数要容易得多，并用于高分辨率图像合成任务。

    Dec, 2021

  • 一种灵活的扩散模型

    本研究提出了一个通用的模型参数化框架，尤其是针对前向 SDE 的空间部分，通过理论保障和实验证明了其优越性。

    Jun, 2022

  • 基于ODE的生成模型轨迹曲率最小化

    该论文提出了一种基于 curvature minimization 的有效的 ODE / SDE 学习方法，能够在不需要多次神经网络评估的情况下减少生成轨迹的曲率，从而减少采样成本并保持了竞争性性能。

    Jan, 2023

  • 逆向随机微分方程的基于得分的生成建模：反演和生成

    该论文提出了基于BSDE的扩散模型，采用适应现有评分函数的方法，确定在达到所需终端分布所需的初始条件。研究表明，采用Lipschitz网络进行评分匹配具有优势，该方法具有应用于不同领域（如扩散反演、条件扩散和不确定性量化）的潜力。该工作对得分为基础的生成学习领域做出了贡献，并为解决实际问题提供了一个有前途的方向。

    Apr, 2023

  • 通过预测校正改进基于分数的扩散模型的收敛性

    本文研究基于分数的生成模型（SGMs）中遇到的向后过程收敛性问题，提出了基于预测校正方案的近似 Langevin 动力学方法，并在有限时间内提供了Wassertein距离的收敛保证。

    May, 2023

  • 扩散模型生成过程最优选择的探索：普通微分方程与随机微分方程对比

    本文主要研究了扩散模型在计算机视觉中的应用，比较和分析了基于ODE和SDE的概率流和扩散模型在不同情况下的性能差异，研究表明，对于特定的脉冲形状误差，扩散系数越大，使用SDE模型生成样本的误差就会指数级下降，并且变化扩散系数可以提高样本质量。

    Jun, 2023

  • 通过福克-普朗克方程来缩小基于评分的扩散模型中的ODE-SDE差距

    通过分析得出结论，增加Fokker-Planck残差作为额外的正则化项可以缩小ODE和SDE生成的分布之间的差距，但这可能会导致SDE样本质量下降。

    Nov, 2023

  • 非去噪前向时间扩散

    该论文通过扩散过程进行生成模型，通过选择适当的扩散桥混合，构造了以所需数据分布为目标的扩散过程，并且通过新的训练目标，可以通过神经网络进行逼近。

    Dec, 2023

  • 通过匹配有限维分布实现有效的神经随机微分方程训练

    本研究解决了神经随机微分方程（Neural SDEs）训练中的效率问题，提出了一种新的有限维匹配（FDM）方法。该方法利用SDEs的马尔可夫特性，显著减少了训练复杂度，从而在计算效率和生成质量上优于现有方法，具有广泛的应用潜力。

    Oct, 2024