Oct, 2023

分数噪声驱动的随机微分方程的变分推断

PDF
TL;DR在这篇论文中，我们提出了一种用于推断由 Markov - 近似分数布朗运动（fBM）驱动的（神经）随机微分方程（SDEs）的新颖变分框架。我们结合了 SDEs 和变分方法的强大推断能力，通过随机梯度下降学习代表性函数分布。此外，我们还提出了一种使用神经网络学习变分后验中的漂移、扩散和控制项的方法，从而实现了神经 - SDEs 的变分训练。我们还优化了 Hurst 指数，控制分数噪声的性质。最后，我们提出了一种用于变分潜在视频预测的新型架构。
variational frameworkstochastic differential equationsmarkov-approximate fractional brownian motionvariational inferenceneural-sdes
发现论文，激发创造
  • 随机微分方程的黑匣子变分推理

    本文介绍了一种使用欧拉 - 马鲁雅马方法对扩散过程离散化，并应用变分推断方法共同学习参数和扩散路径的方法。这种方法使用平均场变分近似参数后验分布，并引入递归神经网络来近似参数条件下扩散路径的后验分布，所得结果可用于具有轻微调整需求的任何 SDE 系统，并在短短几个小时内产生准确的参数估计。

    Feb, 2018

  • 使用变分贝叶斯推断从有限数据中发现随机偏微分方程

    本文提出了一种新的框架，该框架结合了随机微积分，变分 Bayes 理论和稀疏学习等概念，提出了扩展的 Kramers-Moyal 展开来发现随机偏微分方程 (SPEDs) ，并且用 Spike-and-Slab 先验概率和稀疏学习技术来有效准确地发现潜在的 SPDEs，并且利用三个经典的 SPDEs（随机热方程，随机 Allen-Cahn 方程和随机 Nagumo 方程）进行了实证应用，结果表明，本文提出的方法可以用有限的数据准确地识别出潜在的 SPDEs。

    Jun, 2023

  • 神经随机微分方程作为无限维生成对抗网络

    本文介绍了一种将传统经典方法与神经随机微分方程（SDEs）相结合的方法，作为连续生成时间序列模型，无需预设统计或密度功能即可适应任意漂移和扩散，其输入噪声为布朗运动，输出样本是由数值求解器产生的，可用于机器学习中的时间序列建模。

    Feb, 2021

  • 通过随机微分方程统一贝叶斯流网络和扩散模型

    通过连接种植扩散模型（DMs）的随机微分方程（SDEs），本文旨在理解和增强贝叶斯流网络（BFNs），从而迭代地通过贝叶斯推理改进各种噪声水平下分布的参数。通过这些发现并结合 DMs 中快速采样的现有方法，我们为 BFNs 提出了一种专用求解器，在图像和文本数据集上用有限数量的函数评估（例如 10 次）大大超过了原始 BFN 采样器的样本质量。其中，我们最优采样器的速度提高了 5 到 20 倍，且免费提供代码。

    Apr, 2024

  • 均质空间上的潜隐式微分方程

    研究在一个固定的同质化潜在空间中的矩阵李群诱导的随机微分方程类型中的变分贝叶斯推断问题，并以具有竞争力的或甚至是最先进的性能完成各种时间序列插值和分类基准测试。

    Jun, 2023

  • 生成性分数扩散模型

    我们首次尝试在具有无限二次变差的随机过程上建立一个生成模型。

    Oct, 2023

  • 神经随机微分方程：扩散极限下的深度潜在高斯模型

    本文研究了深度潜变高斯模型中的神经 SDEs，并采用随机流理论基于维纳空间开发出一种变分推理框架，利用黑盒 SDE 求解器和自动微分进行端到端推理。

    May, 2019

  • 带有变分 Wishart 扩散的随机微分方程

    本文提出了一种贝叶斯非参数推断随机微分方程的方法，该方法可用于回归任务和连续时间动态建模，强调微分方程的随机部分，利用 Wishart 过程对其进行建模，同时提出了半参数化方法，可以应用于高维模型的建模，成功地模型化了具有条件异方差噪声的潜在和自回归时间系统，实验证明建模扩散通常可以提高性能，并且微分方程中含有的随机性对于避免过拟合是必不可少的。

    Jun, 2020

  • 通过近似贝叶斯计算推断 SDE 模型

    该论文提出一种基于 ABC-MCMC 算法的贝叶斯推断方法，用于在具有随机性系统中求解高维随机微分方程。研究重点在于描述了状态空间模型的 SDE，并提供了 MATLAB 软件包来实现算法的仿真研究结果。

    Apr, 2012

  • 神经麦克林 - 瓦萨夫过程：扩散过程中的分布依赖

    将分布依赖显式地包含在随机微分方程的参数化中对于建模具有交互性的时间数据是有效的，并在维持标准 Itô-SDE 的优越性能的同时，通过 MV-SDE 关联的更丰富的概率流类来进行时间数据的建模。

    Apr, 2024