基于神经 SDE-RNN 的不确定性量化通用框架
我们提出了一种基于随机动态系统视角的量化深度神经网络不确定性的新方法，即神经随机微分方程模型 (SDE-Net)，并证明了其存在唯一解的性质，实验证明该模型在不确定性占据重要角色的一系列任务中优于现有的不确定性估计方法。
Aug, 2020
本文提出了一种基于贝叶斯 RNN 模型的非线性时空预测方法，旨在通过量化不确定性来提高预测准确性，同时通过简单修正基本的 RNN 以适应非线性时空数据的独特性。该方法成功应用于一种 Lorenz 模拟以及两个实际的非线性时空预测应用。
Nov, 2017
本研究应用 Bayesian 概率框架和近似推理技术，对神经状态空间模型进行不确定性量化，得出模型输出的可信区间和惊奇指数，以有效诊断模型在潜在危险的分布区域内的使用可能性。
Apr, 2023
提出了一种用基于贝叶斯信任网络和蒙特卡罗采样的方法来对神经网络进行不确定性估计，这个方法具有与神经网络结构和任务无关，不需要优化进程的更改，能够应用于已经训练好的结构，有效地提高了准确性。
Jul, 2019
本文介绍了一个包含不确定性建模、解法和评估的完整框架，用于量化神经网络中包括噪声、有限数据、超参数、过度参数化、优化和采样误差及模型错误等多源的误差和不确定性，特别关注向无限维函数空间中的偏微分方程和操作映射的学习，包括一个在原型问题上进行的广泛的比较研究。
Jan, 2022
混合神经可微模型 (Hybrid Neural Differentiable Models) 在科学机器学习领域中具有重要的进展。这些模型将已知物理学的数值表示与深度神经网络相结合，提供了增强的预测能力，并展现了在数据驱动的复杂物理系统建模方面的巨大潜力。然而，一个至关重要但尚未解决的挑战在于量化来自多个来源的内在不确定性。针对这个问题，我们引入了一种新的方法 DiffHybrid-UQ，用于混合神经可微模型中的有效和高效的不确定性传播和估计，充分利用了深度集成贝叶斯学习和非线性变换的优势。具体地说，我们的方法能够有效地识别和量化同时来自数据噪声 (aleatoric uncertainties) 和模型形式偏差以及数据稀疏性引起的认知不确定性 (epistemic uncertainties)。这是在贝叶斯模型平均框架下实现的，其中通过混合神经模型来建模随机噪声。在混合模型中的非线性函数通过无损变换 (unscented transformation) 实现这些不确定性的传播。与此相反，我们使用一组随机梯度下降 (SGD) 轨迹来估计认知不确定性。这种方法为网络参数和物理参数的后验分布提供了实用的近似。值得注意的是，DiffHybrid-UQ 框架的设计考虑到了实施的简单性和高可扩展性，使其适用于并行计算环境。通过一些受常微分方程和偏微分方程影响的问题，我们展示了所提出方法的优势。
Dec, 2023
神经网络模型在科学机器学习任务中的应用近年来已大量增加。尤其是，在建模具有时空复杂性的过程方面，神经网络模型表现出色。然而，这些高度参数化的模型在产生与感兴趣的区域保持定量化误差界限方面引起了怀疑。因此，有必要寻找适用于神经网络的不确定性量化方法。本研究对神经网络对复杂时空过程进行了参数不确定性量化的比较，采用了哈密顿蒙特卡洛和 Stein 变分梯度下降及其投影变体。具体而言，我们将这些方法应用于用递归神经网络和神经常微分方程模型建模的发展系统的图卷积神经网络模型。我们展示了 Stein 变分推断是复杂神经网络模型的可行替代方法。对于我们的示例，与哈密顿蒙特卡洛相比，Stein 变分推断在时间上给出了类似的不确定性描述，尽管方差普遍更大。投影 Stein 变分梯度下降也产生了与非投影对应的类似的不确定性描述，但是在神经网络预测的稳定性和复杂的似然函数空间中卷积产生了活动权重空间的大幅减少与困扰。
Feb, 2024
本文提出了一种基于物理启发式神经网络的深度学习框架，用于量化和传播受非线性微分方程支配的系统中的不确定性。通过建立概率表示，对系统状态进行训练以满足给定的物理定律表达式，并提供了一种有效训练深度生成模型作为物理系统的代理的规范化机制，在这些系统中，数据采集成本高，训练数据集通常较小。该框架提供了一种灵活的方式，用于因输入随机性或观测噪声而导致的物理系统输出不确定性的表征，完全绕过了重复采样昂贵的实验或数值模拟器的需求。作者通过一系列例子证明了方法的有效性，这些例子涉及非线性守恒定律中的不确定性传播以及直接从嘈杂的数据中发现流体通过多孔介质的本构规律。
Nov, 2018
本研究比较了多种机器学习技术的 UQ 准确性，并对两个模型（船只在波浪中的运动和 Majda-McLaughlin-Tabak 模型）进行了应用。
Jun, 2023