Sep, 2023

准确且可扩展的图神经网络的确知性不确定性估计

PDF
TL;DR安全部署图神经网络 (GNNs) 在分布偏移下需要模型提供准确的置信指标 (CI)。然而，尽管众所周知在计算机视觉领域 CI 质量随着分布偏移而降低，但 GNN 领域对此行为的研究仍然不足。因此，我们从在受控的结构和特征分布偏移下进行的 CI 校准案例研究开始，并证明了增强表达能力或模型规模并不总是导致 CI 性能的提高。因此，我们主张使用认识不确定性量化 (UQ) 方法来调节 CI。为此，我们提出了 G-$\Delta$UQ，这是一种新的单模型 UQ 方法，它将最近提出的随机居中框架扩展到支持结构化数据和部分随机性。在协变量、概念和图大小转移方面进行评估，G-$\Delta$UQ 不仅在获取校准 CI 方面优于几种受欢迎的 UQ 方法，而且在使用 CI 进行广义泛化预测或 OOD 检测时也优于其他方法。总的来说，我们的工作不仅引入了一种新的灵活的 GNN UQ 方法，还对安全关键任务中的 GNN CI 提供了新的见解。
graph neural networksconfidence indicatorsepistemic uncertainty quantificationg-$\delta$uqsafety-critical tasks
发现论文，激发创造
  • 用于图神经网络的准确可扩展的认知不确定性估计

    我们提出了 G-DeltaUQ，这是一个新的训练框架，旨在改进图神经网络的内在不确定性估计，通过独特的图锚定策略适应图数据，从而在节点和图分类中实现更好的标定准确度。

    Jan, 2024

  • 预训练神经网络的认知不确定性量化

    我们的研究旨在为任何预训练模型量化认识上的不确定性，不需要原始训练数据或模型修改，可以确保广泛适用于任何网络架构或训练技术；我们提出了一种基于梯度的方法来评估认识上的不确定性，通过分析输出相对于模型参数的梯度，从而指示必要的模型调整以准确地表示输入。

    Apr, 2024

  • 对复杂动态系统中认识不确定性和随机不确定性量化的机器学习架构评估

    本研究比较了多种机器学习技术的 UQ 准确性，并对两个模型（船只在波浪中的运动和 Majda-McLaughlin-Tabak 模型）进行了应用。

    Jun, 2023

  • 图神经架构搜索中的分子性质预测不确定性量化

    AutoGNNUQ 是一种自动化不确定性量化方法，通过生成一组高性能的图神经网络（GNNs）进行分子属性预测，实现对预测的不确定性的估计，并利用方差分解来提供减少不确定性的有价值见解。在多个基准数据集上的计算实验证明，AutoGNNUQ 在预测准确性和不确定性的性能方面优于现有的不确定性量化方法。此外，利用 t-SNE 可视化方法来探索分子特征与不确定性之间的相关性，为数据集的改进提供了见解。AutoGNNUQ 在药物发现和材料科学等领域具有广泛的应用价值。

    Jul, 2023

  • 神经网络不确定性估计在分类问题中的质量比较

    对深度学习的 UQ 方法进行了质量评估，比较了不同模型的不确定性估计质量。

    Aug, 2023

  • DiffHybrid-UQ: 可微分混合神经模型的不确定性量化

    混合神经可微模型 (Hybrid Neural Differentiable Models) 在科学机器学习领域中具有重要的进展。这些模型将已知物理学的数值表示与深度神经网络相结合，提供了增强的预测能力，并展现了在数据驱动的复杂物理系统建模方面的巨大潜力。然而，一个至关重要但尚未解决的挑战在于量化来自多个来源的内在不确定性。针对这个问题，我们引入了一种新的方法 DiffHybrid-UQ，用于混合神经可微模型中的有效和高效的不确定性传播和估计，充分利用了深度集成贝叶斯学习和非线性变换的优势。具体地说，我们的方法能够有效地识别和量化同时来自数据噪声 (aleatoric uncertainties) 和模型形式偏差以及数据稀疏性引起的认知不确定性 (epistemic uncertainties)。这是在贝叶斯模型平均框架下实现的，其中通过混合神经模型来建模随机噪声。在混合模型中的非线性函数通过无损变换 (unscented transformation) 实现这些不确定性的传播。与此相反，我们使用一组随机梯度下降 (SGD) 轨迹来估计认知不确定性。这种方法为网络参数和物理参数的后验分布提供了实用的近似。值得注意的是，DiffHybrid-UQ 框架的设计考虑到了实施的简单性和高可扩展性，使其适用于并行计算环境。通过一些受常微分方程和偏微分方程影响的问题，我们展示了所提出方法的优势。

    Dec, 2023

  • 适应性的分布变迁下的轨迹预测不确定性量化

    本文提出了 CUQDS 框架，该框架旨在量化现有轨迹预测模型在数据分布转移下的预测轨迹不确定性，并在训练阶段考虑模型预测准确性的提高和估计不确定性的减少。

    Jun, 2024

  • 最优不确定性引导的神经网络训练

    本文提出了一种高度可定制的平滑成本函数来开发神经网络以构建最优预测间隔，在风能和电力需求数据上进行了测试，结果表明该方法减少了 PI 质量的变异性，加速了训练并将收敛概率从 99.2％提高到 99.8％。

    Dec, 2019

  • 图学习的不确定性量化：一项综述

    对图形模型中的不确定性进行量化的最新方法进行了概述，并将其组织为不确定性表示和处理方法，以加深对图形模型中不确定性量化方法的理解，从而提高其在关键应用中的效果和安全性。

    Apr, 2024

  • 图卷积神经网络模型下演化过程的不确定性量化

    神经网络模型在科学机器学习任务中的应用近年来已大量增加。尤其是，在建模具有时空复杂性的过程方面，神经网络模型表现出色。然而，这些高度参数化的模型在产生与感兴趣的区域保持定量化误差界限方面引起了怀疑。因此，有必要寻找适用于神经网络的不确定性量化方法。本研究对神经网络对复杂时空过程进行了参数不确定性量化的比较，采用了哈密顿蒙特卡洛和 Stein 变分梯度下降及其投影变体。具体而言，我们将这些方法应用于用递归神经网络和神经常微分方程模型建模的发展系统的图卷积神经网络模型。我们展示了 Stein 变分推断是复杂神经网络模型的可行替代方法。对于我们的示例，与哈密顿蒙特卡洛相比，Stein 变分推断在时间上给出了类似的不确定性描述，尽管方差普遍更大。投影 Stein 变分梯度下降也产生了与非投影对应的类似的不确定性描述，但是在神经网络预测的稳定性和复杂的似然函数空间中卷积产生了活动权重空间的大幅减少与困扰。

    Feb, 2024