Oct, 2023

求解高维反向随机微分方程的基于深度学习的方案的不确定度量化

PDF
TL;DR本研究探讨了基于深度学习的数值方案用于解决高维反向随机微分方程（BSDE）的可靠性，并提出了一种有效估计近似解的标准差和均值的新的不确定性量化（UQ）模型，证明其在估计不确定性和性能比较方面的有效性。
deep learning-based numerical schemesbackward stochastic differential equations (bsdes)uncertainty quantification (uq)standard deviation (std)hyperparameter values
发现论文，激发创造
  • 普适微分方程中不确定性量化评估

    科学机器学习是一类新的方法，它将物理知识和机械模型与数据驱动技术相结合，以揭示复杂过程的控制方程。本文提供了不确定性量化 (UQ) 的 UDE 的形式化，并研究了重要的频率派和贝叶斯方法。通过分析三个不同复杂度的合成示例，本文评估了集成、变分推断和马尔可夫链蒙特卡洛采样作为 UDE 的认识论不确定性量化方法的有效性和效率。

    Jun, 2024

  • DiffHybrid-UQ: 可微分混合神经模型的不确定性量化

    混合神经可微模型 (Hybrid Neural Differentiable Models) 在科学机器学习领域中具有重要的进展。这些模型将已知物理学的数值表示与深度神经网络相结合，提供了增强的预测能力，并展现了在数据驱动的复杂物理系统建模方面的巨大潜力。然而，一个至关重要但尚未解决的挑战在于量化来自多个来源的内在不确定性。针对这个问题，我们引入了一种新的方法 DiffHybrid-UQ，用于混合神经可微模型中的有效和高效的不确定性传播和估计，充分利用了深度集成贝叶斯学习和非线性变换的优势。具体地说，我们的方法能够有效地识别和量化同时来自数据噪声 (aleatoric uncertainties) 和模型形式偏差以及数据稀疏性引起的认知不确定性 (epistemic uncertainties)。这是在贝叶斯模型平均框架下实现的，其中通过混合神经模型来建模随机噪声。在混合模型中的非线性函数通过无损变换 (unscented transformation) 实现这些不确定性的传播。与此相反，我们使用一组随机梯度下降 (SGD) 轨迹来估计认知不确定性。这种方法为网络参数和物理参数的后验分布提供了实用的近似。值得注意的是，DiffHybrid-UQ 框架的设计考虑到了实施的简单性和高可扩展性，使其适用于并行计算环境。通过一些受常微分方程和偏微分方程影响的问题，我们展示了所提出方法的优势。

    Dec, 2023

  • SDE-Net：为深度神经网络提供不确定性估计

    我们提出了一种基于随机动态系统视角的量化深度神经网络不确定性的新方法，即神经随机微分方程模型 (SDE-Net)，并证明了其存在唯一解的性质，实验证明该模型在不确定性占据重要角色的一系列任务中优于现有的不确定性估计方法。

    Aug, 2020

  • 深度不确定性：比较深度学习算法中的不确定性量化方法

    本文研究比较了在一个物理系统的背景下，深度学习算法的不确定性量化方法，包括贝叶斯神经网络，Concrete Dropout 和 Deep Ensembles，并探讨了它们的优缺点，结果为使用和解释不确定性量化方法提出了一些建议。

    Apr, 2020

  • Deep UQ: 学习深度神经网络代理模型用于高维不确定性量化

    本文探讨了运用深度神经网络构建模拟器代理模型的方法，以解决原模拟器参数过多导致的维数灾难，研究对象为随机椭圆偏微分方程中涉及的扩散系数。

    Feb, 2018

  • 基于神经 SDE-RNN 的不确定性量化通用框架

    提出一个基于循环神经网络和神经随机微分方程的框架，以处理不规则采样下时间序列插补中的不确定性量化问题，并通过解析表达式量化和传播时刻间认知和随机不确定性，该方法在 IEEE 37 总线测试分布系统上优于现有的时序数据插值不确定性量化方法。

    Jun, 2023

  • 通过区块自助法对差分隐私随机梯度下降进行不确定性量化

    提出了一种基于局部差分隐私的新型块自助法用于随机梯度下降，该方法具有可计算性和不需要调整隐私预算的特点，可以广泛应用于估计问题，并通过模拟研究证明了其有效性和有限样本性质，并成为非隐私 SGD 的简单替代数值工具。

    May, 2024

  • 高维度不确定性量化的贝叶斯深度学习框架

    本研究提出了一种基于贝叶斯神经网络和哈密顿蒙特卡罗的新型深度学习方法，用于量化随机偏微分方程中的不确定性。通过多个数值实例，证明了该方法对于高维度前向和反向问题的不确定性量化是有效的。同时发现该方法的计算成本几乎不受问题维度的影响，具有处理所谓的维数灾难的潜力。

    Oct, 2022

  • 微分方程贝叶斯解不确定性量化

    本研究提出了通过 Bayesian updating 方法推测已知固定但先验未知的模型轨迹以处理离散化不确定性，并为此目的设计了一个一步采样方案。此方案具有一阶收敛性，计算复杂度与显式一步求解器的计算复杂度成正比，并可用于推断蛋白质动力学中 JAK-STAT 延迟微分方程模型的后验分布。

    Jun, 2013

  • 评估科学应用中神经 PDE 的不确定量化方法

    神经偏微分方程（Neural PDEs）被证明能够有效重构流系统并预测相关的未知参数。然而，基于贝叶斯方法的神经偏微分方程显示出更高的预测确定性，相较于使用 Deep Ensembles 方法得到的结果，可能低估了真实潜在的不确定性。

    Nov, 2023