从位移到分布：一种机器学习支持的用于量化计算模型参数不确定性的框架
本研究比较了多种机器学习技术的 UQ 准确性，并对两个模型（船只在波浪中的运动和 Majda-McLaughlin-Tabak 模型）进行了应用。
Jun, 2023
混合神经可微模型 (Hybrid Neural Differentiable Models) 在科学机器学习领域中具有重要的进展。这些模型将已知物理学的数值表示与深度神经网络相结合，提供了增强的预测能力，并展现了在数据驱动的复杂物理系统建模方面的巨大潜力。然而，一个至关重要但尚未解决的挑战在于量化来自多个来源的内在不确定性。针对这个问题，我们引入了一种新的方法 DiffHybrid-UQ，用于混合神经可微模型中的有效和高效的不确定性传播和估计，充分利用了深度集成贝叶斯学习和非线性变换的优势。具体地说，我们的方法能够有效地识别和量化同时来自数据噪声 (aleatoric uncertainties) 和模型形式偏差以及数据稀疏性引起的认知不确定性 (epistemic uncertainties)。这是在贝叶斯模型平均框架下实现的，其中通过混合神经模型来建模随机噪声。在混合模型中的非线性函数通过无损变换 (unscented transformation) 实现这些不确定性的传播。与此相反，我们使用一组随机梯度下降 (SGD) 轨迹来估计认知不确定性。这种方法为网络参数和物理参数的后验分布提供了实用的近似。值得注意的是，DiffHybrid-UQ 框架的设计考虑到了实施的简单性和高可扩展性，使其适用于并行计算环境。通过一些受常微分方程和偏微分方程影响的问题，我们展示了所提出方法的优势。
Dec, 2023
本文介绍了一个包含不确定性建模、解法和评估的完整框架，用于量化神经网络中包括噪声、有限数据、超参数、过度参数化、优化和采样误差及模型错误等多源的误差和不确定性，特别关注向无限维函数空间中的偏微分方程和操作映射的学习，包括一个在原型问题上进行的广泛的比较研究。
Jan, 2022
本文介绍了一种解释不确定性量化模型的方法 —— 混淆密度矩阵，用于将现有 UQ 方法识别出的可疑样本分成三类，并通过实验证明了该框架能够利用分类后的样本来提高预测性能。
Jul, 2022
本篇研究论文重点介绍了机器学习模型中的不确定性量化方法，特别关注神经网络以及在工程设计和医疗领域的应用。通过介绍多种不确定性量化方法和计量标准，本篇论文旨在帮助提高机器学习模型的安全性和可靠性，同时提供两个具体案例：锂离子电池寿命预测和涡轮发动机剩余使用寿命预测。
May, 2023
本文提出了 CUQDS 框架，该框架旨在量化现有轨迹预测模型在数据分布转移下的预测轨迹不确定性，并在训练阶段考虑模型预测准确性的提高和估计不确定性的减少。
Jun, 2024
本文提出了一种基于物理启发式神经网络的深度学习框架，用于量化和传播受非线性微分方程支配的系统中的不确定性。通过建立概率表示，对系统状态进行训练以满足给定的物理定律表达式，并提供了一种有效训练深度生成模型作为物理系统的代理的规范化机制，在这些系统中，数据采集成本高，训练数据集通常较小。该框架提供了一种灵活的方式，用于因输入随机性或观测噪声而导致的物理系统输出不确定性的表征，完全绕过了重复采样昂贵的实验或数值模拟器的需求。作者通过一系列例子证明了方法的有效性，这些例子涉及非线性守恒定律中的不确定性传播以及直接从嘈杂的数据中发现流体通过多孔介质的本构规律。
Nov, 2018
科学机器学习是一类新的方法，它将物理知识和机械模型与数据驱动技术相结合，以揭示复杂过程的控制方程。本文提供了不确定性量化 (UQ) 的 UDE 的形式化，并研究了重要的频率派和贝叶斯方法。通过分析三个不同复杂度的合成示例，本文评估了集成、变分推断和马尔可夫链蒙特卡洛采样作为 UDE 的认识论不确定性量化方法的有效性和效率。
Jun, 2024
科学机器学习中的不确定性量化（UQ）与可靠性建模方法相结合，我们提供了一种新的对 UQ 问题的解释，通过建立科学机器学习中产生的贝叶斯推断问题与粘性哈密顿 - 杰克比偏微分方程的新理论联系，我们展示了通过粘性哈密顿 - 杰克比偏微分方程的空间梯度和 Hessian 矩阵的解恢复后验均值和协方差的方法。
Apr, 2024