为了降低卷积神经网络的复杂性，该论文提出了一个基于 Volterra 滤波器的神经网络架构，通过受控非线性相互作用的形式引入延迟输入样本之间的交互。通过在视频序列上联合熔合空间信息和时间信息进行动作识别，证明了该方法在 UCF-101 和 HMDB-51 数据集上胜过 CNN 等其他方法。

Oct, 2019

这篇论文展示了最近将统计模型与深度循环神经网络相结合提供了一种描述波动度（时间序列的变化程度）模型的新方法，其中包含了一对互补随机循环神经网络，应用在金融领域的时间序列分析和预测。在实现的过程中，作者着重处理了基于随机循环神经网络的波动度动态变化。实际基于股票价格数据的实验证明，这个模型的波动度预测比其他流行模型例如确定性模型 (GARCH)、基于 MCMC 的模型 (stochvol) 和高斯波动过程模型 (GPVol) 有更高的可靠性。

Nov, 2017

神经网络模型在科学机器学习任务中的应用近年来已大量增加。尤其是，在建模具有时空复杂性的过程方面，神经网络模型表现出色。然而，这些高度参数化的模型在产生与感兴趣的区域保持定量化误差界限方面引起了怀疑。因此，有必要寻找适用于神经网络的不确定性量化方法。本研究对神经网络对复杂时空过程进行了参数不确定性量化的比较，采用了哈密顿蒙特卡洛和 Stein 变分梯度下降及其投影变体。具体而言，我们将这些方法应用于用递归神经网络和神经常微分方程模型建模的发展系统的图卷积神经网络模型。我们展示了 Stein 变分推断是复杂神经网络模型的可行替代方法。对于我们的示例，与哈密顿蒙特卡洛相比，Stein 变分推断在时间上给出了类似的不确定性描述，尽管方差普遍更大。投影 Stein 变分梯度下降也产生了与非投影对应的类似的不确定性描述，但是在神经网络预测的稳定性和复杂的似然函数空间中卷积产生了活动权重空间的大幅减少与困扰。

Feb, 2024

文章提出了一种新的构建神经网络用于预测随机微分方程期望的方法，该方法不需要输入和输出的数据集，而是直接比较神经网络中的权重与从时间演化方程获得的信息，通过构建神经网络来演示了 Ornstein-Uhlenbeck 方程和带有噪声的 van der Pol 系统。

Jun, 2023

本研究提出一种新型的基于 Riemannian 同质空间函数样本的高阶 Volterra 卷积神经网络 (VolterraNet)，实现了对模型的对称性以及卷积操作的泛化，在有关分类任务的实验中，与其他先进模型相比，取得了较好的性能，为传统卷积神经网络提供了新思路。

Jun, 2021

该研究表明，对于具有强刚性系数的广泛控制随机微分方程，相关零和博弈的价值函数可以由深度人工神经网络来表示，该网络的复杂度在状态方程的维度和所需精度的倒数方面都呈多项式增长。

Mar, 2019

本文介绍了一种非线性概率变分方法 - 变分高斯过程动态系统来处理高维时间序列数据中的非线性降维问题，同时在潜空间中学习动态先验，并允许自动确定潜在空间的维数，该方法在人体运动捕捉数据集和一系列高分辨率视频序列上进行了演示。

Jul, 2011

通过无监督机器学习方法，介绍了一种确定有效描述随机过程动态的最小参数集的方法，并展示其在提取精确描述这些动态的最小相关参数方面的效果。此外，该方法可用于生成忠实地复制预期随机行为的新轨迹，从而提高我们对不同领域复杂现象的理解。

Jul, 2023

通过蒙特卡洛采样的深度学习方法，将高维随机控制问题的时间依赖控制近似为前馈神经网络，用作控制问题的目标函数，经测试，该方法可以处理高维度问题并且具有令人满意的准确性。

Nov, 2016

本文提出了一种使用 Feller 过程来逼近 SGD 轨迹以及使用 Hausdorff 维度控制相关广义误差的学习理论框架，同时提出了使用 Feller 过程的尾部指数作为 “容量度量” 的概念，可用于估计广义误差，并且与参数数量不同于现有文献中的容量度量。

Jun, 2020