对复杂动态系统中认识不确定性和随机不确定性量化的机器学习架构评估

Jun, 2023

对复杂动态系统中认识不确定性和随机不确定性量化的机器学习架构评估

Evaluation of machine learning architectures on the quantification of epistemic and aleatoric uncertainties in complex dynamical systems

PDF

Stephen Guth, Alireza Mojahed, Themistoklis P. Sapsis

TL;DR本研究比较了多种机器学习技术的 UQ 准确性，并对两个模型（船只在波浪中的运动和 Majda-McLaughlin-Tabak 模型）进行了应用。

Abstract

machine learning methods for the construction of data-driven reduced order model models are used in an increasing variety of engineering domains, especially as a supplement to expensive computational fluid dynamics for design problems. An important check on the reliability of surrogate

machine learning reduced order model uncertainty quantification ensemble neural networks gaussian processes

发现论文，激发创造

机器学习中的不确定性量化 - 工程设计与健康预测教程

本篇研究论文重点介绍了机器学习模型中的不确定性量化方法，特别关注神经网络以及在工程设计和医疗领域的应用。通过介绍多种不确定性量化方法和计量标准，本篇论文旨在帮助提高机器学习模型的安全性和可靠性，同时提供两个具体案例：锂离子电池寿命预测和涡轮发动机剩余使用寿命预测。

May, 2023

深度不确定性：比较深度学习算法中的不确定性量化方法

本文研究比较了在一个物理系统的背景下，深度学习算法的不确定性量化方法，包括贝叶斯神经网络，Concrete Dropout 和 Deep Ensembles，并探讨了它们的优缺点，结果为使用和解释不确定性量化方法提出了一些建议。

Apr, 2020

科学机器学习中的不确定性量化：方法、指标和比较

本文介绍了一个包含不确定性建模、解法和评估的完整框架，用于量化神经网络中包括噪声、有限数据、超参数、过度参数化、优化和采样误差及模型错误等多源的误差和不确定性，特别关注向无限维函数空间中的偏微分方程和操作映射的学习，包括一个在原型问题上进行的广泛的比较研究。

Jan, 2022

神经网络不确定性估计在分类问题中的质量比较

对深度学习的 UQ 方法进行了质量评估，比较了不同模型的不确定性估计质量。

Aug, 2023

Deep UQ: 学习深度神经网络代理模型用于高维不确定性量化

本文探讨了运用深度神经网络构建模拟器代理模型的方法，以解决原模拟器参数过多导致的维数灾难，研究对象为随机椭圆偏微分方程中涉及的扩散系数。

Feb, 2018

深度学习中的不确定性量化综述：技术、应用与挑战

本研究回顾了当前深度学习中不确定性量化（UQ）方法的最新进展，其应用于计算机视觉，医学图像分析，自然语言处理等领域，并调查了这些方法在强化学习中的应用。接着，我们概述了 UQ 方法的几个重要应用，并简要概述了 UQ 方法面临的基本研究挑战，讨论了未来在此领域的研究方向。

Nov, 2020

自动化深度集成与不确定性量化

AutoDEUQ 使用深度神经网络和超参数搜索自动生成神经网络集合，并使用方差法将预测方差分解为数据方差和模型方差，这种方法在许多回归基准测试中优于几种现有的不确定性量化方法。

Oct, 2021

DiffHybrid-UQ: 可微分混合神经模型的不确定性量化

混合神经可微模型 (Hybrid Neural Differentiable Models) 在科学机器学习领域中具有重要的进展。这些模型将已知物理学的数值表示与深度神经网络相结合，提供了增强的预测能力，并展现了在数据驱动的复杂物理系统建模方面的巨大潜力。然而，一个至关重要但尚未解决的挑战在于量化来自多个来源的内在不确定性。针对这个问题，我们引入了一种新的方法 DiffHybrid-UQ，用于混合神经可微模型中的有效和高效的不确定性传播和估计，充分利用了深度集成贝叶斯学习和非线性变换的优势。具体地说，我们的方法能够有效地识别和量化同时来自数据噪声 (aleatoric uncertainties) 和模型形式偏差以及数据稀疏性引起的认知不确定性 (epistemic uncertainties)。这是在贝叶斯模型平均框架下实现的，其中通过混合神经模型来建模随机噪声。在混合模型中的非线性函数通过无损变换 (unscented transformation) 实现这些不确定性的传播。与此相反，我们使用一组随机梯度下降 (SGD) 轨迹来估计认知不确定性。这种方法为网络参数和物理参数的后验分布提供了实用的近似。值得注意的是，DiffHybrid-UQ 框架的设计考虑到了实施的简单性和高可扩展性，使其适用于并行计算环境。通过一些受常微分方程和偏微分方程影响的问题，我们展示了所提出方法的优势。

Dec, 2023

基于贝叶斯神经网络的多变量回归材料性质预测的不确定性量化

使用物理知识指导的贝叶斯神经网络（BNNs）进行材料预测，可实现准确的失效寿命预测和不确定性估计，提供决策依据。

Nov, 2023

图神经架构搜索中的分子性质预测不确定性量化

AutoGNNUQ 是一种自动化不确定性量化方法，通过生成一组高性能的图神经网络（GNNs）进行分子属性预测，实现对预测的不确定性的估计，并利用方差分解来提供减少不确定性的有价值见解。在多个基准数据集上的计算实验证明，AutoGNNUQ 在预测准确性和不确定性的性能方面优于现有的不确定性量化方法。此外，利用 t-SNE 可视化方法来探索分子特征与不确定性之间的相关性，为数据集的改进提供了见解。AutoGNNUQ 在药物发现和材料科学等领域具有广泛的应用价值。

Jul, 2023