标签转移下的 PAC 预测集

Oct, 2023

PAC Prediction Sets Under Label Shift

Wenwen Si, Sangdon Park, Insup Lee, Edgar Dobriban, Osbert Bastani

TL;DR使用一种新颖的算法，在标签偏移情境下构建具有 PAC 保证的预测集合，通过对目标领域的类别的预测概率和混淆矩阵进行估计，利用高斯消元算法传播这些估计的不确定性，计算重要性权重的置信区间，并利用这些区间构建预测集合。在几个基准数据集上评估我们的方法，证明该算法满足 PAC 保证，并且相较于几个基准算法，生成更小且更具信息量的预测集合。

Abstract

prediction sets capture uncertainty by predicting sets of labels rather than individual labels, enabling downstream decisions to conservatively account for all plausible outcomes. conformal inference algorithms c

prediction sets uncertainty quantification conformal inference algorithms label shift setting pac guarantees

发现论文，激发创造

协变量偏移下的 PAC 预测集

论文提出了一种新的、能够在存在协变量转移情况下构建可能准确的预测集的方法，该方法重点关注源分布与目标分布之间的协变量转移，假设给定了编码训练样本概率变化的重要性权重，从而实现了不确定性的量化。

Jun, 2021

通过校准预测为深度神经网络构建 PAC 置信集

我们提出了一种算法，将校准预测与从学习理论推导的泛化界限相结合，构建深度神经网络的置信集，具有 PAC 保证 —— 即给定输入的置信集具有很高的真标签概率。我们演示了如何在 ResNet for ImageNet、视觉对象跟踪模型和半猎豹强化学习问题的动态模型上使用我们的方法构建 PAC 置信集。

Dec, 2019

无标签条件下适应分布偏移的适应性符合性预测

通过两种新方法 ECP 和 EACP，根据基模型在未标记测试数据上的不确定性调整 CP 中的评分函数，从而仅使用测试域中的未标记数据改进 CP 生成的预测集的质量。通过对许多大规模数据集和神经网络架构进行广泛实验，我们展示了我们的方法相对于现有基准算法的持续改进，并几乎与监督算法的性能相匹配。

Jun, 2024

评估基于变换预测集的 AI 辅助图像标注的实用性

在高风险领域中部署深度神经网络时，由于缺乏可解释性，不确定性量化变得具有挑战性。本文通过大规模预注册实验，比较了使用符合性预测集合与 Top-1 和 Top-k 预测展示相比在 AI 辅助图像标注中表现的优势，并发现对易任务来说，预测集合与 Top-1 和 Top-k 展示的准确性相当或略少，但在标记超出分布范围的图像时，特别是当集合大小较小时，预测集合能够卓越地帮助人类进行标注。研究结果从实证角度指出符合性预测集合的实际挑战，并提供了将其纳入实际决策制定的启示。

Jan, 2024

模糊基准下的整形预测

在安全关键的分类任务中，我们提出了一种适用于含有模糊标签的情况的 conformal prediction 框架，在 approximated 的标签的基础上通过近似输入的后验分布来进行不确定性的校准。我们在合成和真实数据集上验证了我们的方法，并在皮肤病学中患者条件分类的案例研究中进行了实证。

Jul, 2023

基于 PAC 神经预测集学习生成语言模型不确定性的量化

通过神经预测集模型以更准确地量化不确定性，本文提出的方法在四种语言数据集和六种模型上表现出 63% 的平均不确定性改进，相对于标准基准方法来说。

Jul, 2023

无分布偏差，控制风险的预测集

本文介绍了一种基于黑盒预测器实现集值预测、控制用户指定水平下的未来测试点期望损失大小以及使用 holdout 集来校准优化预测集大小的方法，这种方法能够提供简单、分布自由和严密的误差控制，适用于多个任务，如分类问题、多标记分类、分类问题中带有层次结构的标签、图像分割和蛋白质结构预测，还有拓展探讨。

Jan, 2021

学习归纳态度预测的 PAC-Bayes 泛化证明

在这项工作中，我们使用 PAC-Bayes 理论获得了关于集合值预测器的覆盖率和效率的泛化界限，可以直接优化以最大化效率，同时满足所需的测试覆盖率，并利用这些理论结果提供了一种利用校准数据对模型和评分函数的参数进行微调，并确保所得预测集的测试覆盖率和效率的实际算法。

Dec, 2023

协变量转移下的 PAC 学习保证

本文探讨了领域自适应问题，证明了只要在一些条件下，任何 PAC 可学习的概念类都可以在协变量转移条件下进行 PAC 学习，同时提出了拒绝取样算法的界限并证明其是某些情况下领域自适应问题的解决方案。

Dec, 2018

使用一致性预测的图像分类器的不确定性集合

介绍了一种修改分类器以输出包含真实标签的预测集的算法，该算法可定量衡量分类器的不确定性，是一种简单且快速的方法，并且与现有技术相比，在保证覆盖率的同时可以实现更小的预测集。

Sep, 2020