Dec, 2023

DiffHybrid-UQ: 可微分混合神经模型的不确定性量化

PDF
TL;DR混合神经可微模型 (Hybrid Neural Differentiable Models) 在科学机器学习领域中具有重要的进展。这些模型将已知物理学的数值表示与深度神经网络相结合，提供了增强的预测能力，并展现了在数据驱动的复杂物理系统建模方面的巨大潜力。然而，一个至关重要但尚未解决的挑战在于量化来自多个来源的内在不确定性。针对这个问题，我们引入了一种新的方法 DiffHybrid-UQ，用于混合神经可微模型中的有效和高效的不确定性传播和估计，充分利用了深度集成贝叶斯学习和非线性变换的优势。具体地说，我们的方法能够有效地识别和量化同时来自数据噪声 (aleatoric uncertainties) 和模型形式偏差以及数据稀疏性引起的认知不确定性 (epistemic uncertainties)。这是在贝叶斯模型平均框架下实现的，其中通过混合神经模型来建模随机噪声。在混合模型中的非线性函数通过无损变换 (unscented transformation) 实现这些不确定性的传播。与此相反，我们使用一组随机梯度下降 (SGD) 轨迹来估计认知不确定性。这种方法为网络参数和物理参数的后验分布提供了实用的近似。值得注意的是，DiffHybrid-UQ 框架的设计考虑到了实施的简单性和高可扩展性，使其适用于并行计算环境。通过一些受常微分方程和偏微分方程影响的问题，我们展示了所提出方法的优势。
hybrid neural differentiable modelsuncertainty quantificationdeep ensemble bayesian learningaleatoric uncertaintiesepistemic uncertainties
发现论文，激发创造
  • 对复杂动态系统中认识不确定性和随机不确定性量化的机器学习架构评估

    本研究比较了多种机器学习技术的 UQ 准确性，并对两个模型（船只在波浪中的运动和 Majda-McLaughlin-Tabak 模型）进行了应用。

    Jun, 2023

  • 预训练神经网络的认知不确定性量化

    我们的研究旨在为任何预训练模型量化认识上的不确定性，不需要原始训练数据或模型修改，可以确保广泛适用于任何网络架构或训练技术；我们提出了一种基于梯度的方法来评估认识上的不确定性，通过分析输出相对于模型参数的梯度，从而指示必要的模型调整以准确地表示输入。

    Apr, 2024

  • 深度不确定性：比较深度学习算法中的不确定性量化方法

    本文研究比较了在一个物理系统的背景下，深度学习算法的不确定性量化方法，包括贝叶斯神经网络，Concrete Dropout 和 Deep Ensembles，并探讨了它们的优缺点，结果为使用和解释不确定性量化方法提出了一些建议。

    Apr, 2020

  • 科学机器学习中的不确定性量化：方法、指标和比较

    本文介绍了一个包含不确定性建模、解法和评估的完整框架，用于量化神经网络中包括噪声、有限数据、超参数、过度参数化、优化和采样误差及模型错误等多源的误差和不确定性，特别关注向无限维函数空间中的偏微分方程和操作映射的学习，包括一个在原型问题上进行的广泛的比较研究。

    Jan, 2022

  • 物理引导神经网络中的对抗不确定性量化

    本文提出了一种基于物理启发式神经网络的深度学习框架，用于量化和传播受非线性微分方程支配的系统中的不确定性。通过建立概率表示，对系统状态进行训练以满足给定的物理定律表达式，并提供了一种有效训练深度生成模型作为物理系统的代理的规范化机制，在这些系统中，数据采集成本高，训练数据集通常较小。该框架提供了一种灵活的方式，用于因输入随机性或观测噪声而导致的物理系统输出不确定性的表征，完全绕过了重复采样昂贵的实验或数值模拟器的需求。作者通过一系列例子证明了方法的有效性，这些例子涉及非线性守恒定律中的不确定性传播以及直接从嘈杂的数据中发现流体通过多孔介质的本构规律。

    Nov, 2018

  • 评估科学应用中神经 PDE 的不确定量化方法

    神经偏微分方程（Neural PDEs）被证明能够有效重构流系统并预测相关的未知参数。然而，基于贝叶斯方法的神经偏微分方程显示出更高的预测确定性，相较于使用 Deep Ensembles 方法得到的结果，可能低估了真实潜在的不确定性。

    Nov, 2023

  • 普适微分方程中不确定性量化评估

    科学机器学习是一类新的方法，它将物理知识和机械模型与数据驱动技术相结合，以揭示复杂过程的控制方程。本文提供了不确定性量化 (UQ) 的 UDE 的形式化，并研究了重要的频率派和贝叶斯方法。通过分析三个不同复杂度的合成示例，本文评估了集成、变分推断和马尔可夫链蒙特卡洛采样作为 UDE 的认识论不确定性量化方法的有效性和效率。

    Jun, 2024

  • 机器学习中的不确定性量化 - 工程设计与健康预测教程

    本篇研究论文重点介绍了机器学习模型中的不确定性量化方法，特别关注神经网络以及在工程设计和医疗领域的应用。通过介绍多种不确定性量化方法和计量标准，本篇论文旨在帮助提高机器学习模型的安全性和可靠性，同时提供两个具体案例：锂离子电池寿命预测和涡轮发动机剩余使用寿命预测。

    May, 2023

  • 神经网络不确定性估计在分类问题中的质量比较

    对深度学习的 UQ 方法进行了质量评估，比较了不同模型的不确定性估计质量。

    Aug, 2023

  • 神经网络势能单模型的不确定性量化表现未必比模型集合更好

    本研究考察了用于提高神经网络相互作用势模型的稳健性的多个不确定性量化方案，包括平均 - 方差估计，深度证据回归和高斯混合模型，并与现有基于集成的方法进行比较。研究表明，对于不确定性量化，成本有效的单一确定性模型尚不能始终匹配或胜过集成方法。

    May, 2023