逆向随机微分方程的基于得分的生成建模：反演和生成

Apr, 2023

逆向随机微分方程的基于得分的生成建模：反演和生成

Score-based Generative Modeling Through Backward Stochastic Differential Equations: Inversion and Generation

Zihao Wang

TL;DR该论文提出了基于 BSDE 的扩散模型，采用适应现有评分函数的方法，确定在达到所需终端分布所需的初始条件。研究表明，采用 Lipschitz 网络进行评分匹配具有优势，该方法具有应用于不同领域（如扩散反演、条件扩散和不确定性量化）的潜力。该工作对得分为基础的生成学习领域做出了贡献，并为解决实际问题提供了一个有前途的方向。

Abstract

The proposed bsde-based diffusion model represents a novel approach to diffusion modeling, which extends the application of stochastic differential equations (SDEs) in machine learning. Unlike traditional SDE-based diffusion models, our model can determine the initial conditions necess

bsde-based diffusion model stochastic differential equations lipschitz networks score-based generative learning uncertainty quantification

发现论文，激发创造

基于分数的随机微分方程生成建模

本文提出了一种基于随机微分方程的得分模型生成方法，通过缓慢注入噪声将复杂数据分布平滑地转换为已知的先验分布，并通过缓慢地消除噪声将先验分布转换回数据分布，同时利用基于神经网络的得分生成建模技术可以精确估计这些得分，并使用数值微分方程求解器生成样本。

Nov, 2020

反向随机微分方程结合的深度生成建模

该论文提出了一种新颖的深度生成模型 BSDE-Gen，将 BSDE 的灵活性与深度神经网络的高能力相结合，特别适用于高维复杂目标数据的生成，特别是在图像生成领域。该模型将随机性和不确定性纳入生成建模过程，使 BSDE-Gen 成为生成高维数据的有效和自然方法。论文提供了 BSDE-Gen 的理论框架，描述了其模型架构，介绍了用于训练的最大均值差异（MMD）损失函数，并报告了实验结果。

Apr, 2023

基于评分的随机微分方程系统的图生成建模

提出了一种基于得分的图生成模型，采用连续时间框架下的新图扩散过程，通过随机微分方程系统对节点和边缘进行联合分布建模，并提出了适用于该过程的新颖得分匹配目标，通过求解反向扩散过程的方程系统高效采样。通过对多个数据集的验证，该方法在生成具有挑战性的现实世界图形时获得了优异的性能，并能够生成符合训练分布的分子，表明其对于节点 - 边缘关系的建模具有有效性。

Feb, 2022

基于狄利克雷扩散分数模型的生物序列生成方法

使用 Dirichlet 扩散分数模型实现生物序列的生成及 DNA 序列设计。

May, 2023

基于分数的扩散模型通过随机微分方程

该篇论文是一篇关于基于分数的扩散模型的阐述性文章，重点介绍了通过随机微分方程 (SDE) 进行公式化。在温和的引言后，讨论了扩散建模的两个支柱 —— 抽样和得分匹配，其中包括 SDE/ODE 抽样，得分匹配效率，一致模型和强化学习。通过简短的证明来说明所述结果的主要思想。本文主要是为初学者介绍该领域，从中的分析对于设计新模型或算法的从业者也有一定的实用价值。

Feb, 2024

一种灵活的扩散模型

本研究提出了一个通用的模型参数化框架，尤其是针对前向 SDE 的空间部分，通过理论保障和实验证明了其优越性。

Jun, 2022

应用于基于得分的生成建模的扩散薛定谔桥

通过将高斯噪声逐渐应用于复杂的数据分布，构建了一个确定性的生成模型，对应于具有时间不均匀漂移的倒退随机微分方程，用基于分数匹配的方法估计漂移。本文提出了 Diffusion SB 方法来处理 Schrödinger Bridge 问题，近似了迭代比例拟合过程，DSB 具有广泛的适用性，是流形上 Sinkhorn 算法的连续状态空间概率化推广。

Jun, 2021

高斯分布的扩散模型：确切解和 Wasserstein 误差

本文研究了扩散模型以及它们在数据分布为高斯分布时的数值实现，通过精确表达不同的 Wasserstein 误差，从而比较每种误差类型对任何采样方案的影响，直接在数据空间中监测收敛性，实验证明扩散模型文献中推荐的数值方案也是适用于高斯分布的最佳采样方案。

May, 2024

ODE-DPS: 基于 ODE 的扩散后验采样方法解决偏微分方程逆问题

利用基于评分的生成扩散模型，我们介绍了一种新颖的无监督反演方法，针对由偏微分方程引起的逆问题，通过解决一个逆向时间的随机微分方程来实现将后验分布作为条件生成过程的任务。此外，为了提高反演结果的准确性，我们提出了一种基于 ODE 的扩散后验采样反演算法。通过一系列涉及各种偏微分方程的实验证明了我们提出方法的效率和鲁棒性。

Apr, 2024

一种基于反向微分的深度学习算法求解高维非线性反向随机微分方程

提出了一种基于反向差分深度学习的新型算法，用于解决高维非线性反向随机微分方程问题，并通过 Malliavin 微积分将问题重构为差分深度学习问题，并使用 Euler-Maruyama 方法对积分进行离散化，通过优化损失函数来对 DNN 参数进行反向优化，在理论和实验上证明了该算法的高效性。

Apr, 2024