Sep, 2022

预测一致性对标签噪声具有鲁棒性

PDF
TL;DR本研究探究了针对标签噪声的确定性估计方法 ——“conformal prediction” 的鲁棒性。通过理论证明和实验验证，提出了对于正确覆盖未观测噪声的基准真实标签，构建正确的不确定性集合的可能性和条件，并发现除了在数据分布或噪声源方面存在病态的特殊情况外，纠正标签噪声并不必要。在这种情况下，可以在确定性预测算法中纠正有界大小的噪声以确保正确覆盖基准真实标签，而无需直接调整得分或数据稳定性。
发现论文，激发创造
  • 一种对标签噪声具有鲁棒性的一致性预测得分

    通过在设定的概率内构建小的预测集合，拟合预测集合可量化网络不确定性。本研究针对带有噪声标签的校准问题，引入了一种对标签噪声具有鲁棒性的拟合得分。通过使用带有噪声标签的数据和噪声水平估算出无噪声的拟合得分，并在测试阶段使用该得分形成预测集合。我们将该算法应用于几个标准医学图像分类数据集，发现我们的方法在预测集合的平均大小方面明显优于当前方法，同时保持所需的覆盖率。

    May, 2024

  • 带有噪声标签的自适应适合性分类

    该研究开发了新的遵循性预测方法，用于分类任务，可以自动适应标签污染，实现比现有方法更具信息量的预测集，并提供更强的覆盖保证。通过对标签污染下标准遵循性推断所面临的准确理论特征进行精确刻画，并通过新的校准算法实施行动。我们的解决方法灵活，并且可以利用关于标签污染过程的不同建模假设，同时无需关于数据分布或机器学习分类器内部工作的任何知识。通过广泛的模拟实验和对 CIFAR-10H 图像数据集的对象分类应用来证明了所提出方法的优势。

    Sep, 2023

  • 模糊基准下的整形预测

    在安全关键的分类任务中，我们提出了一种适用于含有模糊标签的情况的 conformal prediction 框架，在 approximated 的标签的基础上通过近似输入的后验分布来进行不确定性的校准。我们在合成和真实数据集上验证了我们的方法，并在皮肤病学中患者条件分类的案例研究中进行了实证。

    Jul, 2023

  • 符合性预测教程

    该论文介绍了通过使用过去的经验来确定新预测的置信水平的改造预测方法，该方法可以应用于任何生成标签预测的方法，并且包括一些数值示例。

    Jun, 2007

  • 利用特权信息的健壮合拢预测

    我们开发了一种方法，用于生成预测集，其覆盖率在训练数据中存在缺失或噪声变量等损坏情况下是健壮的。我们的方法基于符合性预测，这是一种强大的框架，用于构建在独立同分布假设下有效的预测集。重要的是，简单地应用符合性预测在这种情况下不能提供可靠的预测，因为由损坏引起的分布偏移。为了考虑到分布偏移，我们假设可以访问特权信息（PI）。特权信息被形式化为解释分布偏移的附加特征，然而，它们仅在训练期间可用，在测试时不可用。我们通过引入一种新的加权符合性预测的广义方法来解决这个问题，并支持我们的方法具有理论上的覆盖率保证。在真实数据集和合成数据集上的实证实验表明，我们的方法实现了有效的覆盖率，并构建了比现有方法更具信息性的预测，这些方法不受理论保证支持。

    Jun, 2024

  • 带有许多类别的类条件拟合预测

    本文提出了一种称为聚类置信预测的方法，该方法通过聚类类，将具有 “相似” 信心得分的类聚合在一起，然后在聚类水平上执行置信预测，进行分类问题中的更强的置信度验证，应用于多分类图像数据集中表现更加优秀。

    Jun, 2023

  • 概率鲁棒可伸缩机器学习分类的整体预测

    通过引入得分函数的新定义和定义一组特殊的输入变量（conformal safety set），我们分析了可扩展分类器和一致预测之间的相似性，该安全集能够识别满足误差覆盖保证的输入空间模式，即在该集合中，观察到错误（可能不安全）标签的概率受到预定义的 ε 误差水平的限制。通过在网络安全中应用于识别 DNS 隧道攻击，我们展示了该框架的实际影响。我们的工作有助于发展概率稳健可靠的机器学习模型。

    Mar, 2024

  • 一个温和的介绍：拟合预测及无分布不确定性量化

    介绍一种无需分布假设或模型假设，可用于任何预训练模型（如神经网络）生成 100% 正确性置信区间（信赖区间）的方法， 称之为一致预测；并提供了 Python 示例代码和 Jupyter 笔记本来说明此方法在计算机视觉、自然语言处理和深度强化学习等领域上的应用。

    Jul, 2021

  • 自然语言处理的保形预测：一项概述调查

    快速增长的大型语言模型和自然语言处理（NLP）应用对不确定性量化提出了关键需求，以减轻幻象等风险并提高关键应用中的决策可靠性。条件预测正在成为一个理论上健全且实用的框架，结合了灵活性和强有力的统计保证。它的模型无关性和无分布性质使其特别有希望解决源于 NLP 系统缺乏不确定性量化的现有缺点。本文对条件预测技术、其保证以及 NLP 中的现有应用进行了全面调研，指出了未来研究的方向和面临的挑战。

    May, 2024

  • 辅助任务下的 Few-shot Conformal Prediction

    本文提出了一种基于元学习范式的公式化算法，用于在训练数据有限的情况下进行一致性预测，能够在保持理想边际效应的同时，大幅缩小预测集，该算法具有通用性，适用于自然语言处理、计算机视觉和药物发现等多个领域的少样本分类和回归任务。

    Feb, 2021