均质空间上的潜隐式微分方程
本文介绍了一种基于 Markov 过程的 mean field variational approximation 方法,用于近似描述 Continuous-time Bayesian networks 中的概率分布,并提供了较好的推断和学习效果。
May, 2012
本文提出了一种贝叶斯方法,通过非标准变分推理框架在GP-LVM中近似积分出潜在变量,从而通过最大化解析较低下界的确切边缘似然来训练GP-LVM,在学习非线性动态系统方面具有鲁棒性和自动选择非线性潜在空间维数的能力。
Sep, 2014
本文研究了深度潜变高斯模型中的神经SDEs,并采用随机流理论基于维纳空间开发出一种变分推理框架,利用黑盒SDE求解器和自动微分进行端到端推理。
May, 2019
本文提出直接近似贝叶斯模型函数空间或预测后验分布的方法,并指出了使用Kullback-Leibler divergence方法的优劣,提出了基于Bayesian linear regression的benchmark方法来评估预测质量和后验近似质量。
Nov, 2020
本文介绍了在连续深度贝叶斯神经网络中进行可扩展的近似推断的方法,借助随机微分方程给出了隐藏单元,并使用基于梯度的随机变分推断和新的梯度估计器,这种方法使连续深度贝叶斯神经网络具有和离散深度替代方法同样的竞争力,并继承了神经ODE的内存高效训练和可调节精度。
Feb, 2021
我们介绍了一种新颖的网格无关模型,用于从具有噪声和部分观测的不规则时空网格中学习偏微分方程。我们提出了一种空时连续潜在神经偏微分方程模型,具有高效的概率框架和新颖的编码器设计,以提高数据效率和网格独立性。潜在状态动态由一个将格点法和线法结合的偏微分方程模型来控制。我们采用分摊变分推断进行近似后验估计,并利用多射击技术来提高训练速度和稳定性。我们的模型在复杂的合成和真实世界数据集上展示了最先进的性能,克服了以前方法的局限,有效处理部分观测数据。该模型优于最近的方法,显示了推进数据驱动的偏微分方程建模的潜力,并能够对复杂的部分观测动态过程进行稳健、网格无关的建模。
Jul, 2023
在这篇论文中,我们提出了一种用于推断由Markov-近似分数布朗运动(fBM)驱动的(神经)随机微分方程(SDEs)的新颖变分框架。我们结合了SDEs和变分方法的强大推断能力,通过随机梯度下降学习代表性函数分布。此外,我们还提出了一种使用神经网络学习变分后验中的漂移、扩散和控制项的方法,从而实现了神经-SDEs的变分训练。我们还优化了Hurst指数,控制分数噪声的性质。最后,我们提出了一种用于变分潜在视频预测的新型架构。
Oct, 2023
基于连续时间随机微分方程和变分推断,我们提出了一种新的结构学习方法SCOTCH,可以自然地处理任意时间点的学习和预测观测,并在合规和非合规采样间隔下,在合成和真实数据集上表现出较好的结构学习性能。
Nov, 2023
通过一种新的分摊策略以及线性SDEs下的期望重新参数化的方法,我们在训练时的模型评估次数减少了一个数量级,从而实现了类似于基于伴随灵敏度的方法的相似性能。
Dec, 2023