本研究探讨如何使用向量场在光滑流形上进行参数化,以及如何进行梯度学习来实现基于神经 ODE 的流规范化方法。
Jun, 2020
本文提出一种新型的正则化流,其基于 Wiener 过程的微分变形,从而获得一个完整的时间序列模型,该模型继承了其基本过程的许多性质,如似然性和边缘效率。此外,我们的连续处理为有独立到达过程的不规则时间序列提供了自然框架,包括直接插值。在合成数据和真实世界数据的一系列实验中,我们证明了该模型相对于变分 RNN 和潜在 ODE 基线的优越灵活性。
Feb, 2020
本论文介绍了一种新变种的动态归一化流模型(TCNF),基于布朗运动的时间变形,能够有效地建模一些随机微分方程,包括标准的奥恩斯坦 - 乌伦贝克过程,并且提供更好的推断和预测能力。
Dec, 2023
我们介绍了一种基于常微分方程(ODE)的深度生成方法,称为条件 Follmer 流。该方法能够将标准高斯分布有效地转换为目标条件分布。在实现上,我们使用欧拉方法离散化流,并使用深度神经网络非参数地估计速度场。此外,我们推导出学习样本分布与目标分布之间的 Wasserstein 距离的非渐近收敛速率,为通过 ODE 流进行条件分布学习提供了首个全面的端到端误差分析。我们的数值实验展示了其在一系列场景中的有效性,从标准的非参数条件密度估计问题到涉及图像数据的更复杂挑战,证明了它在各种现有条件密度估计方法上的优势。
Feb, 2024
通过参数可逆变换,扩大了高斯过程先验的类别,得到了一种计算效率高,具有良好的推测表现的算法,并在多个数据集上进行了验证。
Nov, 2020
用普通微分方程(ODE)模型通过似然最大化进行训练的分布学习的非参数统计收敛分析是首次建立的,将速度场类和目标密度的相关收敛率以及对神经网络的影响纳入考虑。
Sep, 2023
本文讨论了如何通过整合贝叶斯学习框架来量化神经普通微分方程中权重的不确定性,并且展示了在 MNIST 数据集上使用 GPU 加速的 No-U-Turn MCMC 采样器、Stochastic Gradient Hamiltonian Monte Carlo 和 Stochastic Langevin Gradient Descent 等推理方法成功集成神经 ODE 的实验结果。然后,我们首次证明了变分推理与标准化流和神经 ODE 的成功整合,生成了强大的贝叶斯神经 ODE 对象。最后,我们演示了如何利用普适的常微分方程概率地识别部分描述的动力系统中的模型规范,从而为探索认识上的不确定性提供了科学的机器学习工具。
Dec, 2020
研究提出了一种基于高斯过程矢量场的非参数 ODE 建模方法,可以不需要先验知识学习任意连续时间系统的基本动力学,并利用稀疏数据推断系统的未来动态和进行模拟。
Mar, 2018
本文提出一种基于连续时间正规化流的生成模型,该流的速度场由时间依赖密度的概率流推断而来,可用于样本生成和密度估计,并可最小化插值密度的路径长度来建立最优传输映射。该方法通过对基于随机微分方程的方法的简化,使生成的流可以以低成本超越传统方法,并可在图像生成等任务上达到较理想的性能。
Sep, 2022
本文提出了一种以高斯过程回归为基础的概率数值逼近方法来解决常微分方程,通过构建一个测量序列,观测高斯过程导数和向量场之间的差值,可以将问题转化为非线性贝叶斯滤波问题,从而推导出新颖的高斯支持 ODE 算法以及粒子滤波方法的非高斯近似。
Oct, 2018