使用一致性预测的图像分类器的不确定性集合

ICLRSep, 2020

使用一致性预测的图像分类器的不确定性集合

Uncertainty Sets for Image Classifiers using Conformal Prediction

Anastasios Angelopoulos, Stephen Bates, Jitendra Malik, Michael I. Jordan

TL;DR介绍了一种修改分类器以输出包含真实标签的预测集的算法，该算法可定量衡量分类器的不确定性，是一种简单且快速的方法，并且与现有技术相比，在保证覆盖率的同时可以实现更小的预测集。

Abstract

convolutional image classifiers can achieve high predictive accuracy, but quantifying their uncertainty remains an unresolved challenge, hindering their deployment in consequential settings. Existing uncertainty quantif

convolutional image classifiers uncertainty quantification predictive set conformal prediction algorithm coverage guarantee

发现论文，激发创造

通过神经模型逼近条件覆盖率和校准性

通过基于 Transformer 网络的 KNN 近似来构建数据驱动的分区，再通过 Inductive Venn 预测器进行校准，从而实现对不确定性的量化和计算机分类模型预测集的标记，进而实现最终任务的目标。

May, 2022

模糊基准下的整形预测

在安全关键的分类任务中，我们提出了一种适用于含有模糊标签的情况的 conformal prediction 框架，在 approximated 的标签的基础上通过近似输入的后验分布来进行不确定性的校准。我们在合成和真实数据集上验证了我们的方法，并在皮肤病学中患者条件分类的案例研究中进行了实证。

Jul, 2023

评估基于变换预测集的 AI 辅助图像标注的实用性

在高风险领域中部署深度神经网络时，由于缺乏可解释性，不确定性量化变得具有挑战性。本文通过大规模预注册实验，比较了使用符合性预测集合与 Top-1 和 Top-k 预测展示相比在 AI 辅助图像标注中表现的优势，并发现对易任务来说，预测集合与 Top-1 和 Top-k 展示的准确性相当或略少，但在标记超出分布范围的图像时，特别是当集合大小较小时，预测集合能够卓越地帮助人类进行标注。研究结果从实证角度指出符合性预测集合的实际挑战，并提供了将其纳入实际决策制定的启示。

Jan, 2024

基于符合预测的深度分类器的证据不确定性集合

利用证据一致性预测方法（ECP）为图像分类器生成一致性预测集，通过基于非一致性评分函数，利用目标标签的对数几率值推导出的证据计算非一致性评分函数的组成部分：一致性预测中的不确定性启发式概念、不确定性惊喜度和期望效用，实验评估结果证明，ECP 在生成一致性预测集方面优于三种先进方法，同时保持了对真实标签的覆盖。

Jun, 2024

深度学习模型不确定性的置信度量化

本文探讨了在深度神经网络中表示模型不确定性的 Conformal Prediction 框架，提出了一种新的基于概率方法的模型不确定性量化方法，并提供了可靠的边界用于计算不确定度。

Jun, 2023

通过邻域符合预测改进深度分类器的不确定性量化：新算法和理论分析

本研究提出了一种名为邻域适应序列预测（NCP）的新算法，通过利用神经网络的学习表示来识别给定测试输入的 k 个最近邻校准样例，并根据它们的距离分配重要性权重，创建自适应预测集，从而提高使用 CP 进行深度分类器的不确定性量化的效率。

Mar, 2023

基于一致预测集的人类决策改善

在这项研究中，我们通过进行一项预先注册的随机对照试验，提供给人类被试一些确定度集合，从而研究了确定度集合对人类决策的辅助作用。结果表明，使用确定度集合来量化模型的不确定性对于人机合作决策和人工智能团队非常有帮助。

Jan, 2024

多类别和多标签预测中的有效和验证置信集

本文介绍一种基于分位数回归和树状结构分类器的符合性预测方法，可以有效解决多分类和多标签问题中难易样本分布不均匀、信心区间过大等挑战，且可以和任何分类模型结合使用并保证有效性。

Apr, 2020

学习最优拟合分类器

本文探讨了在深度学习基础上进行置信区间预测的方法，并提出了一种基于置信区间训练的深度学习模型，该方法可有效地缩小置信边界，同时保证对医学诊断等高风险场景的准确性。

Oct, 2021

谨慎深度学习

本文提出了基于条件概率密度 p (x|y) 而非 p (y|x) 的符合性预测集合（conformal prediction sets）来消除分类模型中的傲慢偏差（hubristic bias），该模型在不确定时会输出空集，能很好地应对对抗攻击（adversarial attacks）。在 ImageNet ILSVRC 数据集和 CelebA、IMDB-Wiki 人脸数据集上以高维卷积神经网络为特征进行的实验结果表明它的性能优秀。

May, 2018