普适微分方程中不确定性量化评估
介绍了 SciML 软件生态系统作为混合物理定律和科学模型的信息和数据驱动机器学习方法的工具,描述了一种数学对象 —— 通用微分方程(UDEs),作为连接生态系统的统一框架,并展示了这些工具的通用性。
Jan, 2020
本文研究了使用 Physiscs-informed Machine Learning 方法识别常微分方程,通过两个案例研究,发现了结合数据驱动方法和数值求解器时产生的一些问题,以及数据收集过程的重要性。
Jun, 2023
神经偏微分方程(Neural PDEs)被证明能够有效重构流系统并预测相关的未知参数。然而,基于贝叶斯方法的神经偏微分方程显示出更高的预测确定性,相较于使用 Deep Ensembles 方法得到的结果,可能低估了真实潜在的不确定性。
Nov, 2023
本研究比较了多种机器学习技术的 UQ 准确性,并对两个模型(船只在波浪中的运动和 Majda-McLaughlin-Tabak 模型)进行了应用。
Jun, 2023
本篇研究论文重点介绍了机器学习模型中的不确定性量化方法,特别关注神经网络以及在工程设计和医疗领域的应用。通过介绍多种不确定性量化方法和计量标准,本篇论文旨在帮助提高机器学习模型的安全性和可靠性,同时提供两个具体案例:锂离子电池寿命预测和涡轮发动机剩余使用寿命预测。
May, 2023
本研究探讨了基于深度学习的数值方案用于解决高维反向随机微分方程(BSDE)的可靠性,并提出了一种有效估计近似解的标准差和均值的新的不确定性量化(UQ)模型,证明其在估计不确定性和性能比较方面的有效性。
Oct, 2023
混合神经可微模型 (Hybrid Neural Differentiable Models) 在科学机器学习领域中具有重要的进展。这些模型将已知物理学的数值表示与深度神经网络相结合,提供了增强的预测能力,并展现了在数据驱动的复杂物理系统建模方面的巨大潜力。然而,一个至关重要但尚未解决的挑战在于量化来自多个来源的内在不确定性。针对这个问题,我们引入了一种新的方法 DiffHybrid-UQ,用于混合神经可微模型中的有效和高效的不确定性传播和估计,充分利用了深度集成贝叶斯学习和非线性变换的优势。具体地说,我们的方法能够有效地识别和量化同时来自数据噪声 (aleatoric uncertainties) 和模型形式偏差以及数据稀疏性引起的认知不确定性 (epistemic uncertainties)。这是在贝叶斯模型平均框架下实现的,其中通过混合神经模型来建模随机噪声。在混合模型中的非线性函数通过无损变换 (unscented transformation) 实现这些不确定性的传播。与此相反,我们使用一组随机梯度下降 (SGD) 轨迹来估计认知不确定性。这种方法为网络参数和物理参数的后验分布提供了实用的近似。值得注意的是,DiffHybrid-UQ 框架的设计考虑到了实施的简单性和高可扩展性,使其适用于并行计算环境。通过一些受常微分方程和偏微分方程影响的问题,我们展示了所提出方法的优势。
Dec, 2023
本研究回顾了当前深度学习中不确定性量化(UQ)方法的最新进展,其应用于计算机视觉,医学图像分析,自然语言处理等领域,并调查了这些方法在强化学习中的应用。接着,我们概述了 UQ 方法的几个重要应用,并简要概述了 UQ 方法面临的基本研究挑战,讨论了未来在此领域的研究方向。
Nov, 2020
本研究提出了通过 Bayesian updating 方法推测已知固定但先验未知的模型轨迹以处理离散化不确定性,并为此目的设计了一个一步采样方案。此方案具有一阶收敛性,计算复杂度与显式一步求解器的计算复杂度成正比,并可用于推断蛋白质动力学中 JAK-STAT 延迟微分方程模型的后验分布。
Jun, 2013
本文介绍了一个包含不确定性建模、解法和评估的完整框架,用于量化神经网络中包括噪声、有限数据、超参数、过度参数化、优化和采样误差及模型错误等多源的误差和不确定性,特别关注向无限维函数空间中的偏微分方程和操作映射的学习,包括一个在原型问题上进行的广泛的比较研究。
Jan, 2022