惩罚式逆概率度量在符合性分类中的应用

Jun, 2024

惩罚式逆概率度量在符合性分类中的应用

The Penalized Inverse Probability Measure for Conformal Classification

Paul Melki, Lionel Bombrun, Boubacar Diallo, Jérôme Dias, Jean-Pierre da Costa

TL;DR通过引入 Penalized Inverse Probability (PIP) 和其正则化版本 RePIP 的非共形评分方式，该研究提出了一种可以同时优化效率和信息性的算法，通过农业机器人中作物和杂草图像分类任务的玩具示例和实证结果，展示了 PIP-based 共形分类器与其他非共形评分方式相比所表现出的预期行为，并在信息性和效率之间找到了良好的平衡。

Abstract

The deployment of safe and trustworthy machine learning systems, and particularly complex black box neural networks, in real-world applications requires reliable and certified guarantees on their performance. The conformal prediction framework offers such formal guarantees by transform

machine learning systems conformal prediction framework nonconformity score function efficiency informativeness

发现论文，激发创造

非一致性功能及数据集难度对符合性分类器效率的影响

研究了基于神经网路的注意分类器使用不同的非一致性函数，以达到最小的预测标签和较大的独立预测标签分数的结果，并提出了成功的方法来结合这两个非一致性函数。

Aug, 2021

利用特权信息的健壮合拢预测

我们开发了一种方法，用于生成预测集，其覆盖率在训练数据中存在缺失或噪声变量等损坏情况下是健壮的。我们的方法基于符合性预测，这是一种强大的框架，用于构建在独立同分布假设下有效的预测集。重要的是，简单地应用符合性预测在这种情况下不能提供可靠的预测，因为由损坏引起的分布偏移。为了考虑到分布偏移，我们假设可以访问特权信息（PI）。特权信息被形式化为解释分布偏移的附加特征，然而，它们仅在训练期间可用，在测试时不可用。我们通过引入一种新的加权符合性预测的广义方法来解决这个问题，并支持我们的方法具有理论上的覆盖率保证。在真实数据集和合成数据集上的实证实验表明，我们的方法实现了有效的覆盖率，并构建了比现有方法更具信息性的预测，这些方法不受理论保证支持。

Jun, 2024

通过基于物理信息的结构因果模型实现鲁棒的分布偏移下的符合性预测

通过使用物理信息的结构性因果模型 (PI-SCM) 来减小上界，我们验证了 PI-SCM 在置信水平和测试领域上对交通速度预测任务和多个真实世界数据集上的流行病传播任务的覆盖鲁棒性的提升。

Mar, 2024

一种对标签噪声具有鲁棒性的一致性预测得分

通过在设定的概率内构建小的预测集合，拟合预测集合可量化网络不确定性。本研究针对带有噪声标签的校准问题，引入了一种对标签噪声具有鲁棒性的拟合得分。通过使用带有噪声标签的数据和噪声水平估算出无噪声的拟合得分，并在测试阶段使用该得分形成预测集合。我们将该算法应用于几个标准医学图像分类数据集，发现我们的方法在预测集合的平均大小方面明显优于当前方法，同时保持所需的覆盖率。

May, 2024

最近邻回归符合性预测

本文探讨了如何将 Conformal Prediction 应用于 k - 最近邻回归算法，提出了对于回归算法中所使用的非一致性度量进行扩展的方式，并定义了 6 种基于 k-NNR 算法的新型非一致性度量，得出相比典型回归度量相比，在预测区域密集程度方面突破性的改进。

Jan, 2014

基于标签排序的深度分类器的拟合预测

通过理论和实验，本文证明了无视概率值可以减轻在 conformal prediction 中概率值失配所导致的大预测集的不良影响。然后，提出了一种名为 “Sorted Adaptive prediction sets” (SAPS) 的新算法，其丢弃除最大 softmax 概率以外的所有概率值，以最小化非符合度分数对概率值的依赖，同时保留不确定性信息，从而生成小型集合并传达逐个实例的不确定性。在理论上，提供了 SAPS 的有限样本覆盖保证，并证明了 SAPS 的预期集合大小始终小于 APS。广泛的实验验证了 SAPS 不仅减小了预测集，还显著提高了预测集的条件覆盖率和适应性。

Oct, 2023

嵌套一致性预测和袋外分位数集成方法

本文讲述了一个基于嵌套的框架的可靠预测方法，使用该方法，我们设计并实现了 QOOB 算法，它将四个想法整合在一起：分位数回归、交叉合规化、集成方法和袋外预测。在模拟和真实数据集上的实验中，QOOB 的表现要么最佳，要么接近最佳。

Oct, 2019

基于特征一致性预测的预测推断

本文提出了基于特征空间的符合性预测方法，利用深度学习的归纳偏差将该方法扩展到语义特征空间，从理论上证明其在温和假设下优于传统方法，并且结合不仅限于普通的符合性预测算法，还可以与其他自适应符合性预测方法结合，从现有的预测推断 benchmark 以及 ImageNet 分类和 Cityscapes 图像分割等大规模任务的实验中证明了该方法的最佳性能。

Oct, 2022

通过神经模型逼近条件覆盖率和校准性

通过基于 Transformer 网络的 KNN 近似来构建数据驱动的分区，再通过 Inductive Venn 预测器进行校准，从而实现对不确定性的量化和计算机分类模型预测集的标记，进而实现最终任务的目标。

May, 2022

文本补全和词性预测的适应性预测

本研究提出基于收缩预测算法的文本填充和词性预测算法，并将其应用于自然语言数据处理中。通过在波士顿语料库中进行仿真实验，结论表明该算法能够生成有效的置信区间，并在机器语音转录中有改进应用。

Nov, 2021