通过邻域符合预测改进深度分类器的不确定性量化：新算法和理论分析

AAAIMar, 2023

通过邻域符合预测改进深度分类器的不确定性量化：新算法和理论分析

Improving Uncertainty Quantification of Deep Classifiers via Neighborhood Conformal Prediction: Novel Algorithm and Theoretical Analysis

PDF

Subhankar Ghosh, Taha Belkhouja, Yan Yan, Janardhan Rao Doppa

TL;DR本研究提出了一种名为邻域适应序列预测（NCP）的新算法，通过利用神经网络的学习表示来识别给定测试输入的 k 个最近邻校准样例，并根据它们的距离分配重要性权重，创建自适应预测集，从而提高使用 CP 进行深度分类器的不确定性量化的效率。

Abstract

Safe deployment of deep neural networks in high-stake real-world applications requires theoretically sound uncertainty quantification. conformal

deep neural networks uncertainty quantification conformal prediction neighborhood conformal prediction adaptive prediction sets

发现论文，激发创造

深度学习模型不确定性的置信度量化

本文探讨了在深度神经网络中表示模型不确定性的 Conformal Prediction 框架，提出了一种新的基于概率方法的模型不确定性量化方法，并提供了可靠的边界用于计算不确定度。

Jun, 2023

概率鲁棒一致预测

概率鲁棒性调和的效果超过了标准的鲁棒性分类器和对抗性鲁棒性分类器，通过提供候选标签预测集合并对数据和扰动设定两个平行阈值，将概率鲁棒性调和引入到机器学习的不确定性量化框架中。

Jul, 2023

学习最优拟合分类器

本文探讨了在深度学习基础上进行置信区间预测的方法，并提出了一种基于置信区间训练的深度学习模型，该方法可有效地缩小置信边界，同时保证对医学诊断等高风险场景的准确性。

Oct, 2021

一种对标签噪声具有鲁棒性的一致性预测得分

通过在设定的概率内构建小的预测集合，拟合预测集合可量化网络不确定性。本研究针对带有噪声标签的校准问题，引入了一种对标签噪声具有鲁棒性的拟合得分。通过使用带有噪声标签的数据和噪声水平估算出无噪声的拟合得分，并在测试阶段使用该得分形成预测集合。我们将该算法应用于几个标准医学图像分类数据集，发现我们的方法在预测集合的平均大小方面明显优于当前方法，同时保持所需的覆盖率。

May, 2024

基于符合预测的深度分类器的证据不确定性集合

利用证据一致性预测方法（ECP）为图像分类器生成一致性预测集，通过基于非一致性评分函数，利用目标标签的对数几率值推导出的证据计算非一致性评分函数的组成部分：一致性预测中的不确定性启发式概念、不确定性惊喜度和期望效用，实验评估结果证明，ECP 在生成一致性预测集方面优于三种先进方法，同时保持了对真实标签的覆盖。

Jun, 2024

可验证的强健拟合预测

使用最新的神经网络验证方法，基于 VRCP（可验证鲁棒性适应预测）框架，本文提出了一种新的方法，用于恢复在遭受对抗攻击时的预测覆盖率保证，并支持任意范数的扰动和回归任务，实验结果表明，在图像分类和强化学习环境的回归任务中，VRCP 方法达到了超过标称覆盖率的结果，并且比目前最先进的方法更高效且信息量更丰富。

May, 2024

基于加密的蒙特卡罗预测的鲁棒不确定性量化

用深度学习模型进行安全关键应用的部署仍然是一项非常具有挑战性的任务。我们介绍了一种新的混合不确定性量化方法，将自适应的蒙特卡罗（MC）dropout 方法与符合预测（CP）相结合，提供可靠的预测集 / 区间，从而大大改进了现有的不确定性量化方法。

Aug, 2023

最近邻回归符合性预测

本文探讨了如何将 Conformal Prediction 应用于 k - 最近邻回归算法，提出了对于回归算法中所使用的非一致性度量进行扩展的方式，并定义了 6 种基于 k-NNR 算法的新型非一致性度量，得出相比典型回归度量相比，在预测区域密集程度方面突破性的改进。

Jan, 2014

ConU: 具有正确性覆盖保证的大型语言模型中的符合不确定性

通过从预测集构建的置信度条件中整合正确性对齐的不确定性准则，本研究在自然语言生成任务中，将确定性预测转化为严格的理论保证，从而解决了最近大型语言模型中的异构不确定性问题，并利用抽样不确定性测量方法提高了先前最先进的方法。通过在模型的非固定答案分布中校准预测集，实现对 6 个大型语言模型在 4 个自由格式的自然语言生成数据集上的正确覆盖率的严格控制，证明了我们的方法在实际开放式自然语言生成应用中提供可靠保证的高效性。

Jun, 2024

利用置信图神经网络进行图形不确定性量化

本研究提出了一种基于置信度的图神经网络模型 CF-GNN，以保证模型的可靠性，所采用的置信度预测方法即为 conformal prediction，该方法可产生预测区间，该区间内包含了真值标签，该模型通过拓扑感知输出修正模型减少了预测集大小，从而实现了较高的预测精度。

May, 2023