神经跳跃随机微分方程
本文提出了一种基于神经常微分方程的变分推断算法,在 Markov 跳跃过程中通过学习神经连续时间表示来近似后验分布,相比于 Monte Carlo 和期望最大化方法具有更高效的性能。
May, 2023
介绍了一种新的数据驱动方法 ——Neural Jump ODE (NJ-ODE), 该模型模拟了连续时间下的随机过程。该模型使用神经 ODE 模型建模两个观察值之间的条件期望,并在每次发现新的观察值时进行跳跃。实验结果表明该模型对于更复杂的学习任务优于现有的基准模型。
Jun, 2020
在处理真实世界的不规则时间序列数据中,由于不连续的采样间隔和缺失值,神经随机微分方程(Neural SDEs)的良好性能依赖于漂移和扩散函数的巧妙选择,本研究通过提出三个稳定的 Neural SDE 类别: Langevin 型 SDE、线性噪声 SDE 和几何 SDE,并通过广泛的实验验证了这些方法在分布转移和不同缺失率下的鲁棒性,展示了该方法在处理真实世界不规则时间序列数据中的有效性。
Feb, 2024
本文提出了一种使用神经随机微分方程学习控制动力学模型的框架和算法,能够构建模型预测控制算法以及模型基的增强学习领域中的仿真器,在模拟机器人系统中得到良好的应用。
Jun, 2023
基于连续时间随机微分方程和变分推断,我们提出了一种新的结构学习方法 SCOTCH,可以自然地处理任意时间点的学习和预测观测,并在合规和非合规采样间隔下,在合成和真实数据集上表现出较好的结构学习性能。
Nov, 2023
提出一种新型深度神经网络模型 —— 连续深度模型,其采用了一个神经网络来参数化隐藏状态的导数,并利用黑箱微分方程求解器计算网络输出,使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型,能够通过最大似然进行训练,而不需要对数据维度进行分区或排序,并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播,从而实现 ODE 的端到端训练。
Jun, 2018
本文研究了深度潜变高斯模型中的神经 SDEs,并采用随机流理论基于维纳空间开发出一种变分推理框架,利用黑盒 SDE 求解器和自动微分进行端到端推理。
May, 2019
本文提出利用神经常微分方程作为计算方法的新型参数化方法来处理时空点过程,使得离散事件能够在连续时间和空间上进行灵活且精确的建模,本方法包括连续时间神经网络、Jump 以及 Attentive Continuous-time Normalizing Flows 等两种新型神经网络结构,能够处理在时间和空间领域内的复杂分布,并能够非常巧妙地对事件历史进行建模,我们在地震学、流行病学、城市移动性以及神经科学等领域的数据集上验证了我们的模型。
Nov, 2020
文章提出了一种新的构建神经网络用于预测随机微分方程期望的方法,该方法不需要输入和输出的数据集,而是直接比较神经网络中的权重与从时间演化方程获得的信息,通过构建神经网络来演示了 Ornstein-Uhlenbeck 方程和带有噪声的 van der Pol 系统。
Jun, 2023
将神经常微分方程 (Neural ODE) 扩展到使用由神经事件函数表示的隐式终止标准来建模离散和瞬时连续时间系统的改变,对切合动态系统和多体系统中的碰撞建模并提出基于模拟的点过程训练方法。
Nov, 2020