本研究提出了一种基于置信度的图神经网络模型 CF-GNN,以保证模型的可靠性,所采用的置信度预测方法即为 conformal prediction,该方法可产生预测区间,该区间内包含了真值标签,该模型通过拓扑感知输出修正模型减少了预测集大小,从而实现了较高的预测精度。
May, 2023
使用符合预测(conformal prediction)技术,此论文提出了一种用于解决图半监督学习中图神经网络(GNN)预测不确定性问题的方法,该方法还引入了一种新的损失函数来优化模型预测,并在标准图基准数据集上进行了验证。
May, 2024
使用图神经网络 (GNN) 方法进行边权重预测,利用符合性预测调整 GNN 输出并生成有效的预测区间,通过误差重新加权和符合化的分位数回归 (CQR) 处理数据异方差性,与基线技术在真实世界的交通数据集上相比,我们的方法具有更好的覆盖率和效率,展示了鲁棒性和适应性。
Jun, 2024
将展开方法应用于动态图神经网络,扩展了置信度预测的有效性和性能,解决了静态图和转导和半归纳情况下的交换性问题。
通过从预测集构建的置信度条件中整合正确性对齐的不确定性准则,本研究在自然语言生成任务中,将确定性预测转化为严格的理论保证,从而解决了最近大型语言模型中的异构不确定性问题,并利用抽样不确定性测量方法提高了先前最先进的方法。通过在模型的非固定答案分布中校准预测集,实现对 6 个大型语言模型在 4 个自由格式的自然语言生成数据集上的正确覆盖率的严格控制,证明了我们的方法在实际开放式自然语言生成应用中提供可靠保证的高效性。
基于构建有效的置信区间的比例估计后验概率分布的缩放参数的最新研究成果,我们的研究探讨了将温度参数纳入基于 CP 框架的贝叶斯 GNN 中的优势,并通过实验证明了导致更高效的预测集的温度存在,同时分析了导致非效率的因素,并提供了有关 CP 性能和模型校准之间关系的有价值见解。
Oct, 2023
本文探讨了在深度神经网络中表示模型不确定性的 Conformal Prediction 框架,提出了一种新的基于概率方法的模型不确定性量化方法,并提供了可靠的边界用于计算不确定度。
Jun, 2023
快速增长的大型语言模型和自然语言处理(NLP)应用对不确定性量化提出了关键需求,以减轻幻象等风险并提高关键应用中的决策可靠性。条件预测正在成为一个理论上健全且实用的框架,结合了灵活性和强有力的统计保证。它的模型无关性和无分布性质使其特别有希望解决源于 NLP 系统缺乏不确定性量化的现有缺点。本文对条件预测技术、其保证以及 NLP 中的现有应用进行了全面调研,指出了未来研究的方向和面临的挑战。
本研究利用信息论来将符合预测与其他不确定性概念相联系,并证明了三种不同的方法来上界内在不确定性,同时通过符合预测和信息论不等式的组合,实现了两种直接有用的应用:(i)更规范和有效的符合训练目标,从头开始实现机器学习模型的端到端训练,(ii)将旁路信息纳入符合预测的自然机制。我们在集中式和联邦学习环境中进行了实证验证,并证明了我们的理论结果能够转化为流行的符合预测方法的低效性(平均预测集大小)。
本文介绍了一种新的预测方法,将 Conformal prediction 和经典的 quantile regression 相结合,使其完全适应异方差性,并且能够在不做分布假设的情况下,建立具有有效覆盖率的预测区间,相比其他 conformal 方法,本文提出的方法具有更高的效率和更短的预测区间。
May, 2019