用于图神经网络的准确可扩展的认知不确定性估计
安全部署图神经网络 (GNNs) 在分布偏移下需要模型提供准确的置信指标 (CI)。然而，尽管众所周知在计算机视觉领域 CI 质量随着分布偏移而降低，但 GNN 领域对此行为的研究仍然不足。因此，我们从在受控的结构和特征分布偏移下进行的 CI 校准案例研究开始，并证明了增强表达能力或模型规模并不总是导致 CI 性能的提高。因此，我们主张使用认识不确定性量化 (UQ) 方法来调节 CI。为此，我们提出了 G-$\Delta$UQ，这是一种新的单模型 UQ 方法，它将最近提出的随机居中框架扩展到支持结构化数据和部分随机性。在协变量、概念和图大小转移方面进行评估，G-$\Delta$UQ 不仅在获取校准 CI 方面优于几种受欢迎的 UQ 方法，而且在使用 CI 进行广义泛化预测或 OOD 检测时也优于其他方法。总的来说，我们的工作不仅引入了一种新的灵活的 GNN UQ 方法，还对安全关键任务中的 GNN CI 提供了新的见解。
Sep, 2023
AutoGNNUQ 是一种自动化不确定性量化方法，通过生成一组高性能的图神经网络（GNNs）进行分子属性预测，实现对预测的不确定性的估计，并利用方差分解来提供减少不确定性的有价值见解。在多个基准数据集上的计算实验证明，AutoGNNUQ 在预测准确性和不确定性的性能方面优于现有的不确定性量化方法。此外，利用 t-SNE 可视化方法来探索分子特征与不确定性之间的相关性，为数据集的改进提供了见解。AutoGNNUQ 在药物发现和材料科学等领域具有广泛的应用价值。
Jul, 2023
我们的研究提出了一个不确定性估计框架，可应用于任何泛化图神经网络（GNN）的基础网络上，以提高节点分类性能。该不确定性估计器模型是一个神经网络，将不确定性建模为概率分布而非离散的概率标量值。通过在 $n$ 路 $k$ 样本方式下进行训练，我们的方法在少样本学习设置中提高了分类准确率，而无需特定的元学习架构。在多个数据集和不同 GNN 基础网络上进行的实验证明了不确定性估计器对于带有 GNN 的少样本节点分类的有效性。
Jun, 2024
通过综述现有的图卷积神经网络预测不确定性理论与方法，以及相关任务，我们主要关注不确定性的集成，这旨在增强模型性能与预测可靠性，从而桥接理论与实践，并连接不同的图卷积神经网络社区，同时为这个领域提供了有价值的研究方向。
Mar, 2024
我们的研究旨在为任何预训练模型量化认识上的不确定性，不需要原始训练数据或模型修改，可以确保广泛适用于任何网络架构或训练技术；我们提出了一种基于梯度的方法来评估认识上的不确定性，通过分析输出相对于模型参数的梯度，从而指示必要的模型调整以准确地表示输入。
Apr, 2024
对图形模型中的不确定性进行量化的最新方法进行了概述，并将其组织为不确定性表示和处理方法，以加深对图形模型中不确定性量化方法的理解，从而提高其在关键应用中的效果和安全性。
Apr, 2024
本研究比较了多种机器学习技术的 UQ 准确性，并对两个模型（船只在波浪中的运动和 Majda-McLaughlin-Tabak 模型）进行了应用。
Jun, 2023
本文提出了使用 GNN 的多源不确定性框架，反映了深度学习和信念 / 证据理论领域中各种类型的预测不确定性，以进行节点分类预测。该框架通过从训练节点给定标签收集证据，设计了基于图的核狄利克雷分布估计 (GKDE) 方法，准确预测节点级狄利克雷分布，并检测超出分布的节点，该模型在六个真实网络数据集上表现优于现有模型，并提供了理论证明解释此结果背后的原因。
Oct, 2020
混合神经可微模型 (Hybrid Neural Differentiable Models) 在科学机器学习领域中具有重要的进展。这些模型将已知物理学的数值表示与深度神经网络相结合，提供了增强的预测能力，并展现了在数据驱动的复杂物理系统建模方面的巨大潜力。然而，一个至关重要但尚未解决的挑战在于量化来自多个来源的内在不确定性。针对这个问题，我们引入了一种新的方法 DiffHybrid-UQ，用于混合神经可微模型中的有效和高效的不确定性传播和估计，充分利用了深度集成贝叶斯学习和非线性变换的优势。具体地说，我们的方法能够有效地识别和量化同时来自数据噪声 (aleatoric uncertainties) 和模型形式偏差以及数据稀疏性引起的认知不确定性 (epistemic uncertainties)。这是在贝叶斯模型平均框架下实现的，其中通过混合神经模型来建模随机噪声。在混合模型中的非线性函数通过无损变换 (unscented transformation) 实现这些不确定性的传播。与此相反，我们使用一组随机梯度下降 (SGD) 轨迹来估计认知不确定性。这种方法为网络参数和物理参数的后验分布提供了实用的近似。值得注意的是，DiffHybrid-UQ 框架的设计考虑到了实施的简单性和高可扩展性，使其适用于并行计算环境。通过一些受常微分方程和偏微分方程影响的问题，我们展示了所提出方法的优势。
Dec, 2023