通过神经模型逼近条件覆盖率和校准性

May, 2022

通过神经模型逼近条件覆盖率和校准性

Approximate Conditional Coverage & Calibration via Neural Model Approximations

Allen Schmaltz, Danielle Rasooly

TL;DR通过基于 Transformer 网络的 KNN 近似来构建数据驱动的分区，再通过 Inductive Venn 预测器进行校准，从而实现对不确定性的量化和计算机分类模型预测集的标记，进而实现最终任务的目标。

Abstract

A typical desideratum for quantifying the uncertainty from a classification model as a prediction set is class-conditional singleton set calibration. That is, such sets should map to the output of well-calibrated selective classifiers, matching the observed frequencies of similar insta

uncertainty quantification calibration conformal prediction transformer networks natural language processing

发现论文，激发创造

使用一致性预测的图像分类器的不确定性集合

介绍了一种修改分类器以输出包含真实标签的预测集的算法，该算法可定量衡量分类器的不确定性，是一种简单且快速的方法，并且与现有技术相比，在保证覆盖率的同时可以实现更小的预测集。

Sep, 2020

谨慎深度学习

本文提出了基于条件概率密度 p (x|y) 而非 p (y|x) 的符合性预测集合（conformal prediction sets）来消除分类模型中的傲慢偏差（hubristic bias），该模型在不确定时会输出空集，能很好地应对对抗攻击（adversarial attacks）。在 ImageNet ILSVRC 数据集和 CelebA、IMDB-Wiki 人脸数据集上以高维卷积神经网络为特征进行的实验结果表明它的性能优秀。

May, 2018

部分标记数据下的共形预测

本文提出了一种改进的 conformal prediction 算法，用于处理集合值培训和校准数据，在实验中表现优异。

Jun, 2023

模糊基准下的整形预测

在安全关键的分类任务中，我们提出了一种适用于含有模糊标签的情况的 conformal prediction 框架，在 approximated 的标签的基础上通过近似输入的后验分布来进行不确定性的校准。我们在合成和真实数据集上验证了我们的方法，并在皮肤病学中患者条件分类的案例研究中进行了实证。

Jul, 2023

多类别和多标签预测中的有效和验证置信集

本文介绍一种基于分位数回归和树状结构分类器的符合性预测方法，可以有效解决多分类和多标签问题中难易样本分布不均匀、信心区间过大等挑战，且可以和任何分类模型结合使用并保证有效性。

Apr, 2020

用于分类的非参数校准

提出了一种调整分类器置信度估计的方法，使其接近正确分类的概率，该方法利用了潜在高斯过程的非参数表示，并针对多类分类进行了特别设计，适用于任何输出置信度估计的分类器，不限于神经网络，实验证明其性能强。

Jun, 2019

具有有效和自适应覆盖范围的分类

本文提出了新型一致性得分，结合适用于分类问题的定制化 Conformal inference、交叉验证、Jackknife 等方法，在保证边际覆盖率的前提下，也可以应对复杂的数据分布，其在合成数据和真实数据上获得实际价值和统计优势。

Jun, 2020

带有噪声标签的自适应适合性分类

该研究开发了新的遵循性预测方法，用于分类任务，可以自动适应标签污染，实现比现有方法更具信息量的预测集，并提供更强的覆盖保证。通过对标签污染下标准遵循性推断所面临的准确理论特征进行精确刻画，并通过新的校准算法实施行动。我们的解决方法灵活，并且可以利用关于标签污染过程的不同建模假设，同时无需关于数据分布或机器学习分类器内部工作的任何知识。通过广泛的模拟实验和对 CIFAR-10H 图像数据集的对象分类应用来证明了所提出方法的优势。

Sep, 2023

通过邻域符合预测改进深度分类器的不确定性量化：新算法和理论分析

本研究提出了一种名为邻域适应序列预测（NCP）的新算法，通过利用神经网络的学习表示来识别给定测试输入的 k 个最近邻校准样例，并根据它们的距离分配重要性权重，创建自适应预测集，从而提高使用 CP 进行深度分类器的不确定性量化的效率。

Mar, 2023

适应性选组等覆盖的共形分类

引入了一种符合性推断方法以评估分类中的不确定性，通过生成具有有效覆盖率的预测集，并在自适应选择的特征上进行。这些特征经过精选以反映潜在的模型限制或偏差，有助于在提供有信息的预测的同时，在最敏感的群体中确保平等的覆盖率，从而找到实践上的一个妥协点。我们通过模拟和真实数据集展示了此方法的有效性和准确性。

May, 2024