混合神经可微模型 (Hybrid Neural Differentiable Models) 在科学机器学习领域中具有重要的进展。这些模型将已知物理学的数值表示与深度神经网络相结合，提供了增强的预测能力，并展现了在数据驱动的复杂物理系统建模方面的巨大潜力。然而，一个至关重要但尚未解决的挑战在于量化来自多个来源的内在不确定性。针对这个问题，我们引入了一种新的方法 DiffHybrid-UQ，用于混合神经可微模型中的有效和高效的不确定性传播和估计，充分利用了深度集成贝叶斯学习和非线性变换的优势。具体地说，我们的方法能够有效地识别和量化同时来自数据噪声 (aleatoric uncertainties) 和模型形式偏差以及数据稀疏性引起的认知不确定性 (epistemic uncertainties)。这是在贝叶斯模型平均框架下实现的，其中通过混合神经模型来建模随机噪声。在混合模型中的非线性函数通过无损变换 (unscented transformation) 实现这些不确定性的传播。与此相反，我们使用一组随机梯度下降 (SGD) 轨迹来估计认知不确定性。这种方法为网络参数和物理参数的后验分布提供了实用的近似。值得注意的是，DiffHybrid-UQ 框架的设计考虑到了实施的简单性和高可扩展性，使其适用于并行计算环境。通过一些受常微分方程和偏微分方程影响的问题，我们展示了所提出方法的优势。

Dec, 2023

本文提出了一种基于物理启发式神经网络的深度学习框架，用于量化和传播受非线性微分方程支配的系统中的不确定性。通过建立概率表示，对系统状态进行训练以满足给定的物理定律表达式，并提供了一种有效训练深度生成模型作为物理系统的代理的规范化机制，在这些系统中，数据采集成本高，训练数据集通常较小。该框架提供了一种灵活的方式，用于因输入随机性或观测噪声而导致的物理系统输出不确定性的表征，完全绕过了重复采样昂贵的实验或数值模拟器的需求。作者通过一系列例子证明了方法的有效性，这些例子涉及非线性守恒定律中的不确定性传播以及直接从嘈杂的数据中发现流体通过多孔介质的本构规律。

Nov, 2018

神经偏微分方程（Neural PDEs）被证明能够有效重构流系统并预测相关的未知参数。然而，基于贝叶斯方法的神经偏微分方程显示出更高的预测确定性，相较于使用 Deep Ensembles 方法得到的结果，可能低估了真实潜在的不确定性。

Nov, 2023

本研究提出了通过 Bayesian updating 方法推测已知固定但先验未知的模型轨迹以处理离散化不确定性，并为此目的设计了一个一步采样方案。此方案具有一阶收敛性，计算复杂度与显式一步求解器的计算复杂度成正比，并可用于推断蛋白质动力学中 JAK-STAT 延迟微分方程模型的后验分布。

Jun, 2013

利用神经算子的混合模型有效缩短了气候、化学或天体物理领域的数值模拟所需的计算成本、提升了模型预测精度、并提供了更灵活的可靠的参数化方法。

Jul, 2022

科学机器学习中的不确定性量化（UQ）与可靠性建模方法相结合，我们提供了一种新的对 UQ 问题的解释，通过建立科学机器学习中产生的贝叶斯推断问题与粘性哈密顿 - 杰克比偏微分方程的新理论联系，我们展示了通过粘性哈密顿 - 杰克比偏微分方程的空间梯度和 Hessian 矩阵的解恢复后验均值和协方差的方法。

Apr, 2024

提出一种基于物理约束深度学习的建模和不确定性量化方法，避免深度学习在小样本问题上的跨度不足，可以用于偏微分方程系统的解决和预测推断，并提供一些解释和量化手段。

Jan, 2019

通过提取关键特征并使用这些相关特征进行神经网络微调，我们提出了一种有效的有监督学习框架，用于基于深度学习的参数化模型，以实现物理上一致、可解释性较强且与标准黑盒深度学习参数化模型在预测性能上保持相等的预测性能。

Jun, 2024

应用深度生成模型通过物理学定理来传递极高复杂物理系统中的不确定性。我们构建出一个隐式变分推断公式，并顺利地运用物理学原理作为模型输出的约束条件。这让模型在面对高成本数据采集以及通常小型训练数据集的物理系统建模时具备了一种可扩展的方法来描述随机输入或观测和物理系统输出的不确定性，并以传输动态为规范示例来验证了方法的有效性。

Dec, 2018

本文探讨了运用深度神经网络构建模拟器代理模型的方法，以解决原模拟器参数过多导致的维数灾难，研究对象为随机椭圆偏微分方程中涉及的扩散系数。

Feb, 2018