预训练神经网络的认知不确定性量化

CVPRApr, 2024

预训练神经网络的认知不确定性量化

Epistemic Uncertainty Quantification For Pre-trained Neural Network

Hanjing Wang, Qiang Ji

TL;DR我们的研究旨在为任何预训练模型量化认识上的不确定性，不需要原始训练数据或模型修改，可以确保广泛适用于任何网络架构或训练技术；我们提出了一种基于梯度的方法来评估认识上的不确定性，通过分析输出相对于模型参数的梯度，从而指示必要的模型调整以准确地表示输入。

Abstract

epistemic uncertainty quantification (UQ) identifies where models lack knowledge. Traditional UQ methods, often based on Bayesian neural networks, are not suitable for pre-trained non-Bayesian models. Our study addresses quantifying epistemic uncertainty for any →

epistemic uncertainty quantification pre-trained model gradient-based approach model adjustments neural network layers

发现论文，激发创造

DiffHybrid-UQ: 可微分混合神经模型的不确定性量化

混合神经可微模型 (Hybrid Neural Differentiable Models) 在科学机器学习领域中具有重要的进展。这些模型将已知物理学的数值表示与深度神经网络相结合，提供了增强的预测能力，并展现了在数据驱动的复杂物理系统建模方面的巨大潜力。然而，一个至关重要但尚未解决的挑战在于量化来自多个来源的内在不确定性。针对这个问题，我们引入了一种新的方法 DiffHybrid-UQ，用于混合神经可微模型中的有效和高效的不确定性传播和估计，充分利用了深度集成贝叶斯学习和非线性变换的优势。具体地说，我们的方法能够有效地识别和量化同时来自数据噪声 (aleatoric uncertainties) 和模型形式偏差以及数据稀疏性引起的认知不确定性 (epistemic uncertainties)。这是在贝叶斯模型平均框架下实现的，其中通过混合神经模型来建模随机噪声。在混合模型中的非线性函数通过无损变换 (unscented transformation) 实现这些不确定性的传播。与此相反，我们使用一组随机梯度下降 (SGD) 轨迹来估计认知不确定性。这种方法为网络参数和物理参数的后验分布提供了实用的近似。值得注意的是，DiffHybrid-UQ 框架的设计考虑到了实施的简单性和高可扩展性，使其适用于并行计算环境。通过一些受常微分方程和偏微分方程影响的问题，我们展示了所提出方法的优势。

Dec, 2023

对复杂动态系统中认识不确定性和随机不确定性量化的机器学习架构评估

本研究比较了多种机器学习技术的 UQ 准确性，并对两个模型（船只在波浪中的运动和 Majda-McLaughlin-Tabak 模型）进行了应用。

Jun, 2023

准确且可扩展的图神经网络的确知性不确定性估计

安全部署图神经网络 (GNNs) 在分布偏移下需要模型提供准确的置信指标 (CI)。然而，尽管众所周知在计算机视觉领域 CI 质量随着分布偏移而降低，但 GNN 领域对此行为的研究仍然不足。因此，我们从在受控的结构和特征分布偏移下进行的 CI 校准案例研究开始，并证明了增强表达能力或模型规模并不总是导致 CI 性能的提高。因此，我们主张使用认识不确定性量化 (UQ) 方法来调节 CI。为此，我们提出了 G-$\Delta$UQ，这是一种新的单模型 UQ 方法，它将最近提出的随机居中框架扩展到支持结构化数据和部分随机性。在协变量、概念和图大小转移方面进行评估，G-$\Delta$UQ 不仅在获取校准 CI 方面优于几种受欢迎的 UQ 方法，而且在使用 CI 进行广义泛化预测或 OOD 检测时也优于其他方法。总的来说，我们的工作不仅引入了一种新的灵活的 GNN UQ 方法，还对安全关键任务中的 GNN CI 提供了新的见解。

Sep, 2023

用于图神经网络的准确可扩展的认知不确定性估计

我们提出了 G-DeltaUQ，这是一个新的训练框架，旨在改进图神经网络的内在不确定性估计，通过独特的图锚定策略适应图数据，从而在节点和图分类中实现更好的标定准确度。

Jan, 2024

超参数化神经网络的有效不确定性量化和减少

使用一种名为 PNC 预测器的方法，仅使用一个辅助神经网络，并结合适当的低计算重采样方法，以最低限度的开销建立了几种方法，利用仅四个训练网络就能构建渐近精确覆盖置信区间。

Jun, 2023

深度不确定性：比较深度学习算法中的不确定性量化方法

本文研究比较了在一个物理系统的背景下，深度学习算法的不确定性量化方法，包括贝叶斯神经网络，Concrete Dropout 和 Deep Ensembles，并探讨了它们的优缺点，结果为使用和解释不确定性量化方法提出了一些建议。

Apr, 2020

使用神经网络进行分子性质预测的不确定性量化

文章通过对 5 个基准数据集的系统评估，研究不同的不确定性量化方法在回归任务中的性能表现，发现没有一种方法完全优于其他方法，也没有一种特别可靠的错误排名。作者建议在已有的技术中进行选择。

May, 2020

科学机器学习中的不确定性量化：方法、指标和比较

本文介绍了一个包含不确定性建模、解法和评估的完整框架，用于量化神经网络中包括噪声、有限数据、超参数、过度参数化、优化和采样误差及模型错误等多源的误差和不确定性，特别关注向无限维函数空间中的偏微分方程和操作映射的学习，包括一个在原型问题上进行的广泛的比较研究。

Jan, 2022

基于图像的城市交通预测的不确定性量化

深度学习模型对交通预测的强大预测性能使其得到广泛应用，但缺乏可解释性限制了其在实际智能交通系统中的部署。通过使用不确定性量化方法，我们调查了这些方法在跨多个城市和时间段的大规模基于图像的交通数据集上的应用，以获得对现有不确定性方法在交通预测中的实用性以及不确定性与城市交通动态之间的关系的全面认识。在在时间和时空转移任务上比较了两种认知不确定性方法和两种他稳不确定性方法后，我们发现可以恢复有意义的不确定性估计。此外，我们进一步演示了如何利用不确定性估计来检测城市交通动态变化中的无监督异常点。通过对莫斯科市的代表性案例研究，我们发现我们的方法能够捕捉到交通行为的时间和空间效应。我们的工作是在交通预测任务中推动不确定性意识的进一步发展，并旨在突出不确定性量化方法对于更好理解城市交通动态的价值贡献。

Aug, 2023

机器学习中的不确定性量化 - 工程设计与健康预测教程

本篇研究论文重点介绍了机器学习模型中的不确定性量化方法，特别关注神经网络以及在工程设计和医疗领域的应用。通过介绍多种不确定性量化方法和计量标准，本篇论文旨在帮助提高机器学习模型的安全性和可靠性，同时提供两个具体案例：锂离子电池寿命预测和涡轮发动机剩余使用寿命预测。

May, 2023