Oct, 2023

ELUQuant: 深層非彈性散射中的事件級不確定性量化

PDF
TL;DR通过使用流近似后验的乘法归一化流 (MNF)，我们介绍了一种物理启发式的贝叶斯神经网络 (BNN)，用于在物理事件级别上进行详细的不确定性量化 (UQ)。我们的方法能够识别异方差的 aleatoric 和 epistemic 不确定性，提供细粒度的物理洞察力。应用于深度非弹性散射 (DIS) 事件，我们的模型有效提取了运动学变量 $x$，$Q^2$ 和 $y$，与最新的深度学习回归技术的性能相匹配，但在事件级别的 UQ 方面具有关键增强。这种对底层不确定性的详细描述对于决策尤其重要，特别是在事件过滤等任务中。它还可以在不直接访问实际准确性的情况下减少真正的不准确性。在 HERA 的 H1 探测器上进行了详尽的 DIS 模拟，显示了未来 EIC 的潜在应用。此外，这为数据质量监测和异常检测等相关任务铺平了道路。值得注意的是，我们的方法能够有效处理大样本和高速率。
physics-informed bayesian neural networkuncertainty quantificationdeep inelastic scatteringkinematic variablesevent filtering
发现论文，激发创造
  • 利用深度学习重建深度非弹性散射的运动学

    本文通过利用深度神经网络方法重建中性电流深度非弹性散射（DIS）的运动学，能够比传统方法更好地利用两个散射的信息和较好解决 QED 辐射问题，同时提高了分辨力和降低了偏差，从而为未来的实验在运动学方面扩展探测范围并提高极化及核非弹性散射发现的潜力。

    Oct, 2021

  • 深度学习深度非弹性散射动力学

    使用深度学习技术重构在电子 - 质子碰撞中中性电流深非弹性散射（DIS）过程的运动学，通过使用 HERA 加速器所在的 ZEUS 实验的模拟数据，训练深度神经网络来重构运动学变量 $ Q^2 $ 和 $ x $。使用深度学习技术进行重构 DIS 运动学的能力，可以作为一种严格的方法，将不同的运动学分析方法结合起来，并在大数据集上实现出色的表现

    Aug, 2021

  • DiffHybrid-UQ: 可微分混合神经模型的不确定性量化

    混合神经可微模型 (Hybrid Neural Differentiable Models) 在科学机器学习领域中具有重要的进展。这些模型将已知物理学的数值表示与深度神经网络相结合，提供了增强的预测能力，并展现了在数据驱动的复杂物理系统建模方面的巨大潜力。然而，一个至关重要但尚未解决的挑战在于量化来自多个来源的内在不确定性。针对这个问题，我们引入了一种新的方法 DiffHybrid-UQ，用于混合神经可微模型中的有效和高效的不确定性传播和估计，充分利用了深度集成贝叶斯学习和非线性变换的优势。具体地说，我们的方法能够有效地识别和量化同时来自数据噪声 (aleatoric uncertainties) 和模型形式偏差以及数据稀疏性引起的认知不确定性 (epistemic uncertainties)。这是在贝叶斯模型平均框架下实现的，其中通过混合神经模型来建模随机噪声。在混合模型中的非线性函数通过无损变换 (unscented transformation) 实现这些不确定性的传播。与此相反，我们使用一组随机梯度下降 (SGD) 轨迹来估计认知不确定性。这种方法为网络参数和物理参数的后验分布提供了实用的近似。值得注意的是，DiffHybrid-UQ 框架的设计考虑到了实施的简单性和高可扩展性，使其适用于并行计算环境。通过一些受常微分方程和偏微分方程影响的问题，我们展示了所提出方法的优势。

    Dec, 2023

  • 对复杂动态系统中认识不确定性和随机不确定性量化的机器学习架构评估

    本研究比较了多种机器学习技术的 UQ 准确性，并对两个模型（船只在波浪中的运动和 Majda-McLaughlin-Tabak 模型）进行了应用。

    Jun, 2023

  • 神经网络不确定性估计在分类问题中的质量比较

    对深度学习的 UQ 方法进行了质量评估，比较了不同模型的不确定性估计质量。

    Aug, 2023

  • 高维度不确定性量化的贝叶斯深度学习框架

    本研究提出了一种基于贝叶斯神经网络和哈密顿蒙特卡罗的新型深度学习方法，用于量化随机偏微分方程中的不确定性。通过多个数值实例，证明了该方法对于高维度前向和反向问题的不确定性量化是有效的。同时发现该方法的计算成本几乎不受问题维度的影响，具有处理所谓的维数灾难的潜力。

    Oct, 2022

  • 物理引导神经网络中的对抗不确定性量化

    本文提出了一种基于物理启发式神经网络的深度学习框架，用于量化和传播受非线性微分方程支配的系统中的不确定性。通过建立概率表示，对系统状态进行训练以满足给定的物理定律表达式，并提供了一种有效训练深度生成模型作为物理系统的代理的规范化机制，在这些系统中，数据采集成本高，训练数据集通常较小。该框架提供了一种灵活的方式，用于因输入随机性或观测噪声而导致的物理系统输出不确定性的表征，完全绕过了重复采样昂贵的实验或数值模拟器的需求。作者通过一系列例子证明了方法的有效性，这些例子涉及非线性守恒定律中的不确定性传播以及直接从嘈杂的数据中发现流体通过多孔介质的本构规律。

    Nov, 2018

  • 深度不确定性：比较深度学习算法中的不确定性量化方法

    本文研究比较了在一个物理系统的背景下，深度学习算法的不确定性量化方法，包括贝叶斯神经网络，Concrete Dropout 和 Deep Ensembles，并探讨了它们的优缺点，结果为使用和解释不确定性量化方法提出了一些建议。

    Apr, 2020

  • 深度网络的集合卡尔曼逆问题中的不确定性量化

    基于 DeepONet 的运算器学习，通过利用 Ensemble Kalman Inversion (EKI) 方法，提出了一种高效的不确定性量化方法，以应对在具有有限和嘈杂数据的实际应用中的不确定性挑战。

    Mar, 2024

  • 使用单个深度确定神经网络进行不确定性估计

    论文提出了一种通过单次前向传递来训练确定性深度模型的方法，该深度模型可以找到并拒绝分布外的数据点。此外，论文还提出了一种基于确定性不确定性量化（DUQ）的建议，并描述了一种新的损失函数和质心更新策略。通过引入梯度惩罚，我们能够可靠地检测分布外的数据，并且可以在大型数据集上缩放不确定性量化。最后，作者在一些难以检测的数据集上，如 FashionMNIST vs. MNIST 和 CIFAR-10 vs. SVHN，使用单个模型得出了比 Deep Ensembles 更好的结果。

    Mar, 2020