辅助任务下的 Few-shot Conformal Prediction

ICMLFeb, 2021

辅助任务下的 Few-shot Conformal Prediction

Few-shot Conformal Prediction with Auxiliary Tasks

Adam Fisch, Tal Schuster, Tommi Jaakkola, Regina Barzilay

TL;DR本文提出了一种基于元学习范式的公式化算法，用于在训练数据有限的情况下进行一致性预测，能够在保持理想边际效应的同时，大幅缩小预测集，该算法具有通用性，适用于自然语言处理、计算机视觉和药物发现等多个领域的少样本分类和回归任务。

Abstract

We develop a novel approach to conformal prediction when the target task has limited data available for training. conformal prediction ide

conformal prediction limited data meta-learning few-shot classification drug discovery

发现论文，激发创造

符合性预测教程

该论文介绍了通过使用过去的经验来确定新预测的置信水平的改造预测方法，该方法可以应用于任何生成标签预测的方法，并且包括一些数值示例。

Jun, 2007

基于 Copula 的多目标回归符合预测

本研究旨在解决多目标回归中的频率校准问题，通过对深度神经网络应用随机向量函数解决问题，结果表明该方法能有效保证各种数据集上的多目标回归问题的效率和准确性。

Jan, 2021

模糊基准下的整形预测

在安全关键的分类任务中，我们提出了一种适用于含有模糊标签的情况的 conformal prediction 框架，在 approximated 的标签的基础上通过近似输入的后验分布来进行不确定性的校准。我们在合成和真实数据集上验证了我们的方法，并在皮肤病学中患者条件分类的案例研究中进行了实证。

Jul, 2023

共形在线模型聚合

这篇论文介绍了一种在在线环境中通过投票将多个算法的预测集合结合起来的方法，从而解决了在 conformal prediction 中的模型选择和 / 或聚合问题。

Mar, 2024

带有许多类别的类条件拟合预测

本文提出了一种称为聚类置信预测的方法，该方法通过聚类类，将具有 “相似” 信心得分的类聚合在一起，然后在聚类水平上执行置信预测，进行分类问题中的更强的置信度验证，应用于多分类图像数据集中表现更加优秀。

Jun, 2023

基于特征一致性预测的预测推断

本文提出了基于特征空间的符合性预测方法，利用深度学习的归纳偏差将该方法扩展到语义特征空间，从理论上证明其在温和假设下优于传统方法，并且结合不仅限于普通的符合性预测算法，还可以与其他自适应符合性预测方法结合，从现有的预测推断 benchmark 以及 ImageNet 分类和 Cityscapes 图像分割等大规模任务的实验中证明了该方法的最佳性能。

Oct, 2022

带区间估计的一致预测

提出了一种名为局部一致性预测的新方法，它可以仅使用新测试样本周围的局部区域来构建置信区间，旨在将数据互换性打破为测试样本赋予特殊角色的情况下，推广了一致性预测方法，并证明了其假设无关与有限样本覆盖保证，并在模拟中比较了局部一致性预测和一致性预测的行为。

Aug, 2019

预测一致性对标签噪声具有鲁棒性

本研究探究了针对标签噪声的确定性估计方法 ——“conformal prediction” 的鲁棒性。通过理论证明和实验验证，提出了对于正确覆盖未观测噪声的基准真实标签，构建正确的不确定性集合的可能性和条件，并发现除了在数据分布或噪声源方面存在病态的特殊情况外，纠正标签噪声并不必要。在这种情况下，可以在确定性预测算法中纠正有界大小的噪声以确保正确覆盖基准真实标签，而无需直接调整得分或数据稳定性。

Sep, 2022

本地化拟合预测：一种基于推理的拟合预测通用框架

本文提出一种名为局部合规预测的新的推理框架，它通过提供围绕测试样本的局部区域的自适应构建的单次测试样本，以及与不同合规得分结构相结合，来推广合规预测的框架。该框架享有无假设的有限样本边际覆盖保证，并在适当的假设条件下提供额外的局部覆盖保证。我们展示了如何使用多个合规分数从合规预测变为局部合规预测，并通过数值实例说明了潜在的收益。

Jun, 2021

利用特权信息的健壮合拢预测

我们开发了一种方法，用于生成预测集，其覆盖率在训练数据中存在缺失或噪声变量等损坏情况下是健壮的。我们的方法基于符合性预测，这是一种强大的框架，用于构建在独立同分布假设下有效的预测集。重要的是，简单地应用符合性预测在这种情况下不能提供可靠的预测，因为由损坏引起的分布偏移。为了考虑到分布偏移，我们假设可以访问特权信息（PI）。特权信息被形式化为解释分布偏移的附加特征，然而，它们仅在训练期间可用，在测试时不可用。我们通过引入一种新的加权符合性预测的广义方法来解决这个问题，并支持我们的方法具有理论上的覆盖率保证。在真实数据集和合成数据集上的实证实验表明，我们的方法实现了有效的覆盖率，并构建了比现有方法更具信息性的预测，这些方法不受理论保证支持。

Jun, 2024