通过双重过程将随机微分方程嵌入神经网络

Jun, 2023

通过双重过程将随机微分方程嵌入神经网络

Embedding stochastic differential equations into neural networks via dual processes

Naoki Sughishita, Jun Ohkubo

TL;DR文章提出了一种新的构建神经网络用于预测随机微分方程期望的方法，该方法不需要输入和输出的数据集，而是直接比较神经网络中的权重与从时间演化方程获得的信息，通过构建神经网络来演示了 Ornstein-Uhlenbeck 方程和带有噪声的 van der Pol 系统。

Abstract

We propose a new approach to constructing a neural network for predicting expectations of stochastic differential equations. The proposed method does not need data sets of inputs and outputs; instead, the informa

neural network stochastic differential equations time-evolution equations ornstein-uhlenbeck process noisy van der pol system

发现论文，激发创造

神经跳跃随机微分方程

本文提出了一种名为神经跳跃随机微分方程的数据驱动方法，用于学习连续和离散动态行为，即同时具有流动和跳跃的混合系统，并在几个合成和真实世界的标记点过程数据集上展示了其预测能力。

May, 2019

随机微分方程的无限深贝叶斯神经网络

本文介绍了在连续深度贝叶斯神经网络中进行可扩展的近似推断的方法，借助随机微分方程给出了隐藏单元，并使用基于梯度的随机变分推断和新的梯度估计器，这种方法使连续深度贝叶斯神经网络具有和离散深度替代方法同样的竞争力，并继承了神经 ODE 的内存高效训练和可调节精度。

Feb, 2021

如何从三分钟数据中学习和泛化：物理约束和不确定性感知的神经随机微分方程

本文提出了一种使用神经随机微分方程学习控制动力学模型的框架和算法，能够构建模型预测控制算法以及模型基的增强学习领域中的仿真器，在模拟机器人系统中得到良好的应用。

Jun, 2023

从部分观测中学习动态系统

本文研究使用数据驱动框架和神经网络来预测复杂的非线性时空过程，并表现出显著的改进。

Feb, 2019

通过数据自适应随机过程从稀缺观察中学习连续网络的新兴动态

通过稀疏观测数据，我们引入了一种新的随机过程，称为神经常微分方程过程，用于学习连续网络动态，在各种领域中的网络动态具有优秀的数据适应性和计算效率，并可以适应新的网络动态，仅需要约 6% 的观测数据比例，并且显著提高了对新动态的学习速度。

Oct, 2023

随机微分方程的近似贝叶斯学习

使用高斯过程作为灵活的模型并使用高斯过程回归直接从稠密数据集中计算估计，开发出一种非参数方法来估计随机微分方程组中的漂移和扩散函数，并开发了一种近似的期望最大化算法来处理稀疏观察之间的未观察到的潜在动态。

Feb, 2017

使用随机微分方程的神经结构学习

基于连续时间随机微分方程和变分推断，我们提出了一种新的结构学习方法 SCOTCH，可以自然地处理任意时间点的学习和预测观测，并在合规和非合规采样间隔下，在合成和真实数据集上表现出较好的结构学习性能。

Nov, 2023

差分高斯过程流深度学习

提出了一种新的深度学习范例 —— 差分流，其通过先学习输入的随机微分方程变换，再进行标准分类或回归处理。微分高斯过程的关键属性是通过无穷深度但无穷小的微分场对输入进行扭曲，将离散层推广为动态系统，证明了其优于深度高斯过程和神经网络的最先进成果。

Oct, 2018

残余网络的随机训练：微分方程视角

本文研究了基于改进方程的方法，表明残差网络及其变体可以被视为弱逼近随机微分方程。从损失景观的角度提供了关于正则化效应的新视角，并为设计更可靠和高效的随机训练策略提供了启示。我们提出了一种利用伯努利丢弃来进行实验的新方法，从而验证了我们的理论发现。

Dec, 2018

神经常微分方程

提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。

Jun, 2018