Oct, 2023

稳定扩散过程的因果建模

PDF
TL;DR我们开发了一种新的因果推断方法，通过学习随机微分方程 (SDEs) 的稳定密度来模拟系统在干预下的行为，而不需要因果图的结构方程，并且无需考虑无环性的常见假设。我们表明，在若干情况下，这些稳定扩散模型对于变量上的未观测干预进行了推广，通常比传统方法更好。我们的推断方法基于一个新的理论结果，通过在再生核希尔伯特空间中表达扩散的生成器上的稳定条件。由此产生的核函数离稳定性的偏差 (KDS) 是一个独立感兴趣的目标函数。
causal inferencestochastic differential equationsstationary diffusion modelsinterventionskernel deviation from stationarity
发现论文，激发创造
  • 扩散模型的几何视角

    本文研究扩散模型的采样动力学，通过挖掘它的几何结构，提出一种简单却强大的采样理论框架，并将扩散模型的优化与经典的均值偏移算法关联起来。

    May, 2023

  • 随机微分方程的因果解释

    通过对随机微分方程（SDEs）进行干预所产生的后干预 SDE 的定义，我们给出了对 SDEs 的因果解释，并证明在 Lipschitz 条件下，后干预 SDE 的解等于基于原始 SDE 的 Euler 方案的后干预结构方程模型的概率均匀极限。 当 SDE 的驱动噪声是 Lévy 过程时，我们证明后干预分布可以从 SDE 的生成器中识别出来。

    Mar, 2013

  • 一种灵活的扩散模型

    本研究提出了一个通用的模型参数化框架，尤其是针对前向 SDE 的空间部分，通过理论保障和实验证明了其优越性。

    Jun, 2022

  • 带有变分 Wishart 扩散的随机微分方程

    本文提出了一种贝叶斯非参数推断随机微分方程的方法，该方法可用于回归任务和连续时间动态建模，强调微分方程的随机部分，利用 Wishart 过程对其进行建模，同时提出了半参数化方法，可以应用于高维模型的建模，成功地模型化了具有条件异方差噪声的潜在和自回归时间系统，实验证明建模扩散通常可以提高性能，并且微分方程中含有的随机性对于避免过拟合是必不可少的。

    Jun, 2020

  • 随机微分方程的黑匣子变分推理

    本文介绍了一种使用欧拉 - 马鲁雅马方法对扩散过程离散化，并应用变分推断方法共同学习参数和扩散路径的方法。这种方法使用平均场变分近似参数后验分布，并引入递归神经网络来近似参数条件下扩散路径的后验分布，所得结果可用于具有轻微调整需求的任何 SDE 系统，并在短短几个小时内产生准确的参数估计。

    Feb, 2018

  • 基于 ODE 的扩散采样的轨迹规律性

    扩散基于生成模型使用随机微分方程和其等效的常微分方程在复杂数据分布与可追踪的先验分布之间建立平滑连接。本文中，我们发现扩散模型的基于常微分方程的采样过程中存在着一些有趣的轨迹特性。我们表征了一个隐式去噪轨迹，并讨论了其在形成具有强形状规律性的耦合采样轨迹中的重要作用，无论生成的内容是什么。我们还描述了一种基于动态规划的方案，使得采样的时间安排更好地适应底层轨迹结构。这种简单的策略对于任何给定的基于常微分方程的数值求解器只需要最小的修改，并且在计算成本几乎可忽略的情况下，能够在图像生成中提供卓越的性能，特别是在 5 到 10 个函数评估中。

    May, 2024

  • 均质空间上的潜隐式微分方程

    研究在一个固定的同质化潜在空间中的矩阵李群诱导的随机微分方程类型中的变分贝叶斯推断问题，并以具有竞争力的或甚至是最先进的性能完成各种时间序列插值和分类基准测试。

    Jun, 2023

  • 神经随机微分方程：扩散极限下的深度潜在高斯模型

    本文研究了深度潜变高斯模型中的神经 SDEs，并采用随机流理论基于维纳空间开发出一种变分推理框架，利用黑盒 SDE 求解器和自动微分进行端到端推理。

    May, 2019

  • 随机微分方程的近似贝叶斯学习

    使用高斯过程作为灵活的模型并使用高斯过程回归直接从稠密数据集中计算估计，开发出一种非参数方法来估计随机微分方程组中的漂移和扩散函数，并开发了一种近似的期望最大化算法来处理稀疏观察之间的未观察到的潜在动态。

    Feb, 2017

  • 具有保持测度的动力学的 SDE 扩散模型中的稳定性和泛化能力

    逆问题与扩散模型、保度量动力学、随机动力系统和动力学感知的扩散生成模型 (D3GM) 有关，并揭示了以上几个策略的稳定性和广泛适用性，以及 D3GM 在多个基准测试中的有效性。

    Jun, 2024