基于距离的正则化提升节点分类中的不确定性量化
本文提出了使用 GNN 的多源不确定性框架,反映了深度学习和信念 / 证据理论领域中各种类型的预测不确定性,以进行节点分类预测。该框架通过从训练节点给定标签收集证据,设计了基于图的核狄利克雷分布估计 (GKDE) 方法,准确预测节点级狄利克雷分布,并检测超出分布的节点,该模型在六个真实网络数据集上表现优于现有模型,并提供了理论证明解释此结果背后的原因。
Oct, 2020
介绍了一种轻量、快速、高性能的正则化方法用于 Mahalanobis 距离的不确定性预测,并需要对网络的架构进行最小的更改来推导有利于 Mahalanobis 距离计算的高斯潜在表示。通过在标准 OOD 基准测试上进行评估,证明了该方法在最小推理时间内实现了最先进的 OOD 检测结果,并且在预测概率校准方面非常有竞争力。
May, 2023
使用不确定性量化技术对预训练视觉模型进行预测不确定性估计,以提取有价值的预测并忽略不自信的预测,从而避免最多 80% 的被错误分类的样本。
Mar, 2024
研究了如何改进深度神经网络的不确定性量化能力,基于确定性表示将不确定性量化形式化为极小化 - 极大化学习问题,提出了一种名为 SNGP 的方法,通过两个简单的改变来提高现代 DNN 的距离感知能力,取得了较好的预测、校准和超领域检测性能。
May, 2022
我们提出了 G-DeltaUQ,这是一个新的训练框架,旨在改进图神经网络的内在不确定性估计,通过独特的图锚定策略适应图数据,从而在节点和图分类中实现更好的标定准确度。
Jan, 2024
本文针对文本分类任务中的 OOD 检测问题,提出了基于证据不确定性的方法,该方法通过引入辅助的离群样本和伪样本来训练模型,并明确建模了类别概率的不确定性。实验证明,该方法能够轻松部署于传统 RNN 和 Fine-tuned 预训练 transformers,并在 OOD 检测上优于其他方法。
Jul, 2021
本文旨在研究如何衡量深度神经网络中不同的不确定性因素,进一步探究利用这些因素更有效地解决不同决策问题的方法。其中,作者提出了一个一般学习框架来定量不同根本原因导致的多种不确定性,并发现在对于深度神经网络的分类及早期时间点的事件检测中,对于实现最佳效果的不确定性因素分别为矛盾和真空。此外,本文还提出了一个改进 SSL 算法的框架,以抵御 OOD 对象的重要影响。
Apr, 2023
本文提出了一种基于贝叶斯学习框架嵌入 GNN(图神经网络)的不确定性传递方法,通过建模节点预测的后验概率的置信度以及消息的不确定性,实现了有关节点分类的不确定度传递。同时,还提出了一种针对分类的不确定度取向损失函数,使得训练集中可能引入误差的样本可以得到应有的惩罚,最终通过实验结果的比较证明了该方法的优越性。
Apr, 2023
本研究使用以图神经网络为代表的机器学习技术对分子动力学进行高效计算,提出了一种新的基于高斯过程扩展的局部神经核,开创了分子力场不确定性估计的先河,实验结果表明该方法性能明显优于现有技术。
Jun, 2023
安全部署图神经网络 (GNNs) 在分布偏移下需要模型提供准确的置信指标 (CI)。然而,尽管众所周知在计算机视觉领域 CI 质量随着分布偏移而降低,但 GNN 领域对此行为的研究仍然不足。因此,我们从在受控的结构和特征分布偏移下进行的 CI 校准案例研究开始,并证明了增强表达能力或模型规模并不总是导致 CI 性能的提高。因此,我们主张使用认识不确定性量化 (UQ) 方法来调节 CI。为此,我们提出了 G-$\Delta$UQ,这是一种新的单模型 UQ 方法,它将最近提出的随机居中框架扩展到支持结构化数据和部分随机性。在协变量、概念和图大小转移方面进行评估,G-$\Delta$UQ 不仅在获取校准 CI 方面优于几种受欢迎的 UQ 方法,而且在使用 CI 进行广义泛化预测或 OOD 检测时也优于其他方法。总的来说,我们的工作不仅引入了一种新的灵活的 GNN UQ 方法,还对安全关键任务中的 GNN CI 提供了新的见解。
Sep, 2023