Apr, 2024

用于生成学习的潜在 Schr {ö} dinger 桥扩散模型

PDF
TL;DR通过在潜空间中利用 Schr {"o} dinger bridge 扩散模型构建新的生成学习方法，本文对当前扩散模型进行了全面的理论分析，包括利用预训练的编码器 - 解码器架构和 Schr {"o} dinger bridge 框架开发了潜空间中的扩散模型，通过控制生成分布和目标分布之间的二阶 Wasserstein 距离，获得了收敛速率，从而为现有的扩散模型提供了稳健的理论支持。
发现论文，激发创造
  • 通过薛定谔桥实现深度生成学习

    通过信息熵插值和薛定谔桥生成学习模型，该方法将评价量（Kullback-Leibler 散度）定义为参考分布与目标分布之间插值的过程，采用深度评分估计器和深度密度比估计器的演算法得到漂移项，该方案具有一定的可靠性和优越性，可用于生成学习领域。

    Jun, 2021

  • 使用扩散薛定谔桥的条件模拟

    本文介绍了基于去噪扩散模型的生成模型，提出了基于 Schrödinger bridge 的生成建模方法来缩短生成时间，并将其扩展到条件模拟中，用于各种应用，包括图像超分辨率、状态空间模型的最优滤波和预训练网络的优化。

    Feb, 2022

  • 用于受限生成建模的反映式薛定谔桥

    引入反射谢尔宾格算法：一种在多样有界域中生成数据的熵正则化的最优传递方法，通过反演的前后向随机微分方程与诺依曼和罗宾边界条件相结合，扩展基于散度的封闭域似然训练，并探索与熵正则化最优传送的自然联系，用于近似线性收敛的研究 —— 这对实际训练是非常有价值的见解。该算法在多样有界域中产生强大的生成模型，并通过标准图像基准测试展示其可扩展性。

    Jan, 2024

  • 构建桥梁：理解和扩展扩散生成模型

    本研究重新考虑扩散模型的总体框架，将其视为具有未观察到扩散轨迹的潜在变量模型，并应用于数据不受限制的领域。利用最大似然估计，我们表明模型构建和潜在路径的插补都可以构造扩散桥过程，实现端点的确定值和约束条件，并提供一套系统的研究和工具，进而提出了学习扩散生成模型的第一个理论误差分析和学习不同离散和受限领域数据的简单而统一的方法。实验证明，我们的方法在生成图像、语义分段和 3D 点云方面表现出色。

    Aug, 2022

  • 薛定谔桥在文本转语音合成上胜过扩散模型

    在这项研究中，我们提出了一种新的文本到语音系统，Bridge-TTS，通过将已建立的基于扩散的 TTS 方法中的嘈杂高斯先验替换为干净的确定性先验，以实现对目标的强结构信息的首次替代。

    Dec, 2023

  • 应用于基于得分的生成建模的扩散薛定谔桥

    通过将高斯噪声逐渐应用于复杂的数据分布，构建了一个确定性的生成模型，对应于具有时间不均匀漂移的倒退随机微分方程，用基于分数匹配的方法估计漂移。本文提出了 Diffusion SB 方法来处理 Schrödinger Bridge 问题，近似了迭代比例拟合过程，DSB 具有广泛的适用性，是流形上 Sinkhorn 算法的连续状态空间概率化推广。

    Jun, 2021

  • 黎曼扩散薛定谔桥

    本文提出了一种名为 “Riemannian Diffusion Schrödinger Bridge” 的方法，用于加速采样和插值非欧几里得数据，通过推广扩展 Riemannian score-based 模型达到这个目的，并在合成数据和真实的地球和气候数据中进行了验证。

    Jul, 2022

  • 通过学习扩散方式改进采样

    该论文提出了基于深度学习的方法来对非归一化目标密度进行建模，并使用特定问题的 Schrödinger 桥问题来确定在给定先验分布和指定目标之间的最有可能的随机演变，其中包括前面出现的目标作为特殊情况。

    Jul, 2023

  • 简化扩散薛定谔桥

    本研究介绍了一种新颖的理论简化方法，将扩散薛定谔桥与基于评分的生成模型统一起来，解决了扩散薛定谔桥在复杂数据生成方面的局限性，实现了更快的收敛和更强的性能。通过将基于评分的生成模型作为扩散薛定谔桥的初始解决方案，我们的方法充分发挥了两个框架的优势，确保了更高效的训练过程并提高了基于评分的生成模型的性能。同时，我们还提出了一种重新参数化技术，尽管在理论上存在逼近，但在实践中可以提高网络的适应能力。我们进行了广泛的实验评估，证实了简化扩散薛定谔桥的有效性，并展示了其显著的改进。我们相信本研究的贡献为先进的生成建模铺平了道路。代码可在此 https URL 获取。

    Mar, 2024

  • 一种灵活的扩散模型

    本研究提出了一个通用的模型参数化框架，尤其是针对前向 SDE 的空间部分，通过理论保障和实验证明了其优越性。

    Jun, 2022