函数空间中扩散桥的随机最优控制

May, 2024

函数空间中扩散桥的随机最优控制

Stochastic Optimal Control for Diffusion Bridges in Function Spaces

Byoungwoo Park, Jungwon Choi, Sungbin Lim, Juho Lee

TL;DR扩展基于扩散的算法到函数空间，我们提出了一种适用于无限维空间的随机最优控制（SOC）理论。该理论通过引入 Doob 的 h - 变换，从 SOC 的视角推导并扩展至无限维空间，并提出了两个应用：无限维分布间的桥接学习和采样的生成模型。该方法对于包括连续函数空间表示的各种问题，如无分辨率图像、时间序列数据和概率密度函数，都证明了其有效性。

Abstract

Recent advancements in diffusion models and diffusion bridges primarily focus on finite-dimensional spaces, yet many real-world problems necessitate operations in infinite-dimensional function spaces for more natural and interpretable formulations. In this paper, we present a theory of

diffusion models infinite-dimensional spaces stochastic optimal control doob's h-transform generative models

发现论文，激发创造

模拟无限维非线性扩散桥

通过将得分匹配技术与运算学习相结合，我们提出了解决无限维桥问题的方案，使得无限维桥的得分匹配可以以直接的方式进行。我们的方法在一系列实验中展现了高效性，尤其因其能够适应任何分辨率而无需额外的训练。

May, 2024

软约束薛定谔桥：一种随机控制方法

通过允许终端分布与 μ_T 不同，但惩罚两个分布之间的 Kullback-Leibler 散度，我们提出了一种软约束的 Schrödinger bridge（SSB）的最优控制方法，并且从理论上推导了其解决方案，表明最优控制过程的终端分布是 μ_T 和其他分布的几何混合，该结果进一步应用于时间序列设置，并提出了鲁棒性生成扩散模型的应用。我们提出了一种基于评分匹配的算法，用于从几何混合中进行采样，并通过对 MNIST 数据集的数值实例展示其用途。

Mar, 2024

应用于基于得分的生成建模的扩散薛定谔桥

通过将高斯噪声逐渐应用于复杂的数据分布，构建了一个确定性的生成模型，对应于具有时间不均匀漂移的倒退随机微分方程，用基于分数匹配的方法估计漂移。本文提出了 Diffusion SB 方法来处理 Schrödinger Bridge 问题，近似了迭代比例拟合过程，DSB 具有广泛的适用性，是流形上 Sinkhorn 算法的连续状态空间概率化推广。

Jun, 2021

时空桥扩散

该研究介绍了一种新的方法，用于从高维实值概率分布中生成独立同分布的新合成样本，该分布由一组地面真实样本隐含定义。该方法的核心是通过跨时空维度的空间 - 时间混合策略来整合，以实现从易于处理的初始概率分布到由地面真实样本表示的目标分布的最佳传输。通过数值实验验证了该空间 - 时间扩散方法的有效性，并为更广泛的未来理论和实验奠定了基础，以完全验证该方法，特别是提供更高效（可能是无需模拟的）推断。

Feb, 2024

具有随机相位的生成建模

基于相空间动力学的新型生成建模框架，通过构建相空间中的路径测度，实现了早期动力学传播中生成逼真数据点的能力，并利用轨迹上的额外速度信息进行高效数据生成。该模型在小样本评估中表现优越，并且与采样技术辅助扩散模型相媲美，彰显了其作为生成建模的新工具的潜力。

Oct, 2023

使用得分匹配模拟扩散跃点

本文提出了一种基于反向时间表示的扩散桥模拟方法，通过变分公式学习时空逆转实现扩散桥的模拟，并通过评分匹配方法克服其不可计算性，提出了一种近似 Doob's h - 变换法的方法，实验结果表明了此方法的有效性。

Nov, 2021

通过学习扩散方式改进采样

该论文提出了基于深度学习的方法来对非归一化目标密度进行建模，并使用特定问题的 Schrödinger 桥问题来确定在给定先验分布和指定目标之间的最有可能的随机演变，其中包括前面出现的目标作为特殊情况。

Jul, 2023

最优输运与 Schrödinger 桥之间的关系：随机控制视角

本文从随机控制角度重新审视了最优传输问题与 Schrödinger 桥问题之间的关系，并提出了一些新的发现和解法，特别是我们提出并解决了带先验的流体动力学版本的最优传输问题。

Dec, 2014

使用扩散薛定谔桥的条件模拟

本文介绍了基于去噪扩散模型的生成模型，提出了基于 Schrödinger bridge 的生成建模方法来缩短生成时间，并将其扩展到条件模拟中，用于各种应用，包括图像超分辨率、状态空间模型的最优滤波和预训练网络的优化。

Feb, 2022

用于受限生成建模的反映式薛定谔桥

引入反射谢尔宾格算法：一种在多样有界域中生成数据的熵正则化的最优传递方法，通过反演的前后向随机微分方程与诺依曼和罗宾边界条件相结合，扩展基于散度的封闭域似然训练，并探索与熵正则化最优传送的自然联系，用于近似线性收敛的研究 —— 这对实际训练是非常有价值的见解。该算法在多样有界域中产生强大的生成模型，并通过标准图像基准测试展示其可扩展性。

Jan, 2024