Deep UQ: 学习深度神经网络代理模型用于高维不确定性量化

Feb, 2018

Deep UQ: 学习深度神经网络代理模型用于高维不确定性量化

Deep UQ: Learning deep neural network surrogate models for high dimensional uncertainty quantification

Rohit Tripathy, Ilias Bilionis

TL;DR本文探讨了运用深度神经网络构建模拟器代理模型的方法，以解决原模拟器参数过多导致的维数灾难，研究对象为随机椭圆偏微分方程中涉及的扩散系数。

Abstract

State-of-the-art computer codes for simulating real physical systems are often characterized by a vast number of input parameters. Performing uncertainty quantification (UQ) tasks with Monte Carlo (MC) methods is almost always infeasible because of the need to perform hundreds of thous

uncertainty quantification surrogate models deep neural networks stochastic partial differential equation nonlinear manifold

发现论文，激发创造

对复杂动态系统中认识不确定性和随机不确定性量化的机器学习架构评估

本研究比较了多种机器学习技术的 UQ 准确性，并对两个模型（船只在波浪中的运动和 Majda-McLaughlin-Tabak 模型）进行了应用。

Jun, 2023

无需标记数据的高维代理建模和不确定性量化的物理约束深度学习

提出一种基于物理约束深度学习的建模和不确定性量化方法，避免深度学习在小样本问题上的跨度不足，可以用于偏微分方程系统的解决和预测推断，并提供一些解释和量化手段。

Jan, 2019

基于贝叶斯深度卷积编码 - 解码网络的代理建模和不确定性量化

本文提出了一种使用卷积神经网络实现的关于具有随机偏微分方程的不确定性建模的代理模型，该方法使用变分梯度下降算法对参数进行 “近似贝叶斯推断”，可以在处理不确定性时实现和其他方法相比具有最先进的预测精度和不确定性量化，即使训练数据量相对较小，也能获得非常好的性能。

Jan, 2018

高维度不确定性量化的贝叶斯深度学习框架

本研究提出了一种基于贝叶斯神经网络和哈密顿蒙特卡罗的新型深度学习方法，用于量化随机偏微分方程中的不确定性。通过多个数值实例，证明了该方法对于高维度前向和反向问题的不确定性量化是有效的。同时发现该方法的计算成本几乎不受问题维度的影响，具有处理所谓的维数灾难的潜力。

Oct, 2022

评估科学应用中神经 PDE 的不确定量化方法

神经偏微分方程（Neural PDEs）被证明能够有效重构流系统并预测相关的未知参数。然而，基于贝叶斯方法的神经偏微分方程显示出更高的预测确定性，相较于使用 Deep Ensembles 方法得到的结果，可能低估了真实潜在的不确定性。

Nov, 2023

基于函数主成分分析和深度神经网络的贝叶斯反问题不确定性量化与瞬态实验数据

该研究聚焦于发展一种逆向 UQ 处理过程，以源于功能主成分分析（PCA）和基于深度神经网络（DNN）的代理模型的降维方法。通过该方法，该研究在 TRACE 物理模型参数的逆向 UQ 方面取得了改进。

Jul, 2023

超参数化神经网络的有效不确定性量化和减少

使用一种名为 PNC 预测器的方法，仅使用一个辅助神经网络，并结合适当的低计算重采样方法，以最低限度的开销建立了几种方法，利用仅四个训练网络就能构建渐近精确覆盖置信区间。

Jun, 2023

神经网络不确定性估计在分类问题中的质量比较

对深度学习的 UQ 方法进行了质量评估，比较了不同模型的不确定性估计质量。

Aug, 2023

DiffHybrid-UQ: 可微分混合神经模型的不确定性量化

混合神经可微模型 (Hybrid Neural Differentiable Models) 在科学机器学习领域中具有重要的进展。这些模型将已知物理学的数值表示与深度神经网络相结合，提供了增强的预测能力，并展现了在数据驱动的复杂物理系统建模方面的巨大潜力。然而，一个至关重要但尚未解决的挑战在于量化来自多个来源的内在不确定性。针对这个问题，我们引入了一种新的方法 DiffHybrid-UQ，用于混合神经可微模型中的有效和高效的不确定性传播和估计，充分利用了深度集成贝叶斯学习和非线性变换的优势。具体地说，我们的方法能够有效地识别和量化同时来自数据噪声 (aleatoric uncertainties) 和模型形式偏差以及数据稀疏性引起的认知不确定性 (epistemic uncertainties)。这是在贝叶斯模型平均框架下实现的，其中通过混合神经模型来建模随机噪声。在混合模型中的非线性函数通过无损变换 (unscented transformation) 实现这些不确定性的传播。与此相反，我们使用一组随机梯度下降 (SGD) 轨迹来估计认知不确定性。这种方法为网络参数和物理参数的后验分布提供了实用的近似。值得注意的是，DiffHybrid-UQ 框架的设计考虑到了实施的简单性和高可扩展性，使其适用于并行计算环境。通过一些受常微分方程和偏微分方程影响的问题，我们展示了所提出方法的优势。

Dec, 2023

科学机器学习中的不确定性量化：方法、指标和比较

本文介绍了一个包含不确定性建模、解法和评估的完整框架，用于量化神经网络中包括噪声、有限数据、超参数、过度参数化、优化和采样误差及模型错误等多源的误差和不确定性，特别关注向无限维函数空间中的偏微分方程和操作映射的学习，包括一个在原型问题上进行的广泛的比较研究。

Jan, 2022