May, 2024

控制、传输和采样：朝着更好的损失设计

PDF
TL;DR通过扩展扩散采样、最优输运和最优随机控制之间的联系，通过它们与 Schrödinger 桥问题的共同联系，我们提出了可以用于将 ν 转移到 μ，从而通过最优控制动力学从目标 μ 中进行采样的新型目标函数。我们强调了逐路径观点的重要性以及关于路径测度的各种最优性条件在有效训练损失函数设计中的作用，谨慎选择这些条件在实际实施中具有数值优势。
diffusion-based samplingoptimal transportoptimal stochastic controlschrödinger bridge problemtraining losses
发现论文，激发创造
  • 通过学习扩散方式改进采样

    该论文提出了基于深度学习的方法来对非归一化目标密度进行建模，并使用特定问题的 Schrödinger 桥问题来确定在给定先验分布和指定目标之间的最有可能的随机演变，其中包括前面出现的目标作为特殊情况。

    Jul, 2023

  • 最优输运与 Schrödinger 桥之间的关系：随机控制视角

    本文从随机控制角度重新审视了最优传输问题与 Schrödinger 桥问题之间的关系，并提出了一些新的发现和解法，特别是我们提出并解决了带先验的流体动力学版本的最优传输问题。

    Dec, 2014

  • 软约束薛定谔桥：一种随机控制方法

    通过允许终端分布与 μ_T 不同，但惩罚两个分布之间的 Kullback-Leibler 散度，我们提出了一种软约束的 Schrödinger bridge（SSB）的最优控制方法，并且从理论上推导了其解决方案，表明最优控制过程的终端分布是 μ_T 和其他分布的几何混合，该结果进一步应用于时间序列设置，并提出了鲁棒性生成扩散模型的应用。我们提出了一种基于评分匹配的算法，用于从几何混合中进行采样，并通过对 MNIST 数据集的数值实例展示其用途。

    Mar, 2024

  • 测度传输采样简介

    通过构建可决定的耦合（即传输图）来进行测量传输的基本原理，从而能够在质量复杂的概率分布中生成任意多且无权重的样本。该研究探讨了在仅可用非标准化目标密度评估或仅通过有限样本集合而已知目标分布的情况下，如何构建传输。该方法可直接应用于贝叶斯计算和基于随机模拟的广泛问题中。

    Feb, 2016

  • 基于得分的生成神经网络用于大规模最优传输

    本文提出了一种基于得分的生成模型，通过 Langevin 动态学习和采样源数据和目标数据之间的 Sinkhorn 耦合，从而解决大规模最优输运问题。

    Oct, 2021

  • 通过最优输运量化分布模型风险

    本文提出了一种方法来计算特定概率模型下利益期望，并给出了为不同的概率模型设置偏差范围的基于最优输运的度量方法，同时应用于风险分析。

    Apr, 2016

  • 运输，变分推断和扩散：在 退火流和薛定谔桥 的应用

    该论文探讨了最优输运和变分推理之间的关系，并提出了一系列采样和生成建模的新技术，其中涉及随机微分方程和 Girsanov 转换等内容。

    Jul, 2023

  • Schrödinger 桥问题的最优输运方法和 Sinkhorn 算法的收敛性

    该论文利用了 Schr"odinger 桥问题和熵惩罚的最优输运之间的等价性，以寻找一种与最优输运相似的新的方法来探究二者间的对偶性。该方法提供了一些先验估计并且在正则化参数趋于零的极限情况下一致。该方法还适用于多个数据边缘的情况，证明了 Sinkhorn 算法的新的收敛性质。

    Nov, 2019

  • 用于受限生成建模的反映式薛定谔桥

    引入反射谢尔宾格算法：一种在多样有界域中生成数据的熵正则化的最优传递方法，通过反演的前后向随机微分方程与诺依曼和罗宾边界条件相结合，扩展基于散度的封闭域似然训练，并探索与熵正则化最优传送的自然联系，用于近似线性收敛的研究 —— 这对实际训练是非常有价值的见解。该算法在多样有界域中产生强大的生成模型，并通过标准图像基准测试展示其可扩展性。

    Jan, 2024

  • 训练神经算子以保持混沌吸引子的不变量测度

    本文提出了一个针对混沌系统长期预测的框架，该框架旨在保留描述动力学的不变吸引子的不变统计特性。我们考虑两种方法来处理噪声数据的多环境设置中的训练，一种是基于观察到的动力学和神经操作器输出之间的最优输运距离的损失，另一种是不需要任何专业先前知识的对比学习框架。通过在各种混沌系统上进行实证验证，我们的方法在保持混沌吸引子的不变测度方面表现出很好的效果。

    Jun, 2023