Jul, 2023

模糊基准下的整形预测

PDF
TL;DR在安全关键的分类任务中，我们提出了一种适用于含有模糊标签的情况的 conformal prediction 框架，在 approximated 的标签的基础上通过近似输入的后验分布来进行不确定性的校准。我们在合成和真实数据集上验证了我们的方法，并在皮肤病学中患者条件分类的案例研究中进行了实证。
conformal predictionuncertainty quantificationcalibrationambiguous ground truthskin condition classification
发现论文，激发创造
  • 预测一致性对标签噪声具有鲁棒性

    本研究探究了针对标签噪声的确定性估计方法 ——“conformal prediction” 的鲁棒性。通过理论证明和实验验证，提出了对于正确覆盖未观测噪声的基准真实标签，构建正确的不确定性集合的可能性和条件，并发现除了在数据分布或噪声源方面存在病态的特殊情况外，纠正标签噪声并不必要。在这种情况下，可以在确定性预测算法中纠正有界大小的噪声以确保正确覆盖基准真实标签，而无需直接调整得分或数据稳定性。

    Sep, 2022

  • 带有许多类别的类条件拟合预测

    本文提出了一种称为聚类置信预测的方法，该方法通过聚类类，将具有 “相似” 信心得分的类聚合在一起，然后在聚类水平上执行置信预测，进行分类问题中的更强的置信度验证，应用于多分类图像数据集中表现更加优秀。

    Jun, 2023

  • 带有噪声标签的自适应适合性分类

    该研究开发了新的遵循性预测方法，用于分类任务，可以自动适应标签污染，实现比现有方法更具信息量的预测集，并提供更强的覆盖保证。通过对标签污染下标准遵循性推断所面临的准确理论特征进行精确刻画，并通过新的校准算法实施行动。我们的解决方法灵活，并且可以利用关于标签污染过程的不同建模假设，同时无需关于数据分布或机器学习分类器内部工作的任何知识。通过广泛的模拟实验和对 CIFAR-10H 图像数据集的对象分类应用来证明了所提出方法的优势。

    Sep, 2023

  • 部分标记数据下的共形预测

    本文提出了一种改进的 conformal prediction 算法，用于处理集合值培训和校准数据，在实验中表现优异。

    Jun, 2023

  • 基于一致预测集的人类决策改善

    在这项研究中，我们通过进行一项预先注册的随机对照试验，提供给人类被试一些确定度集合，从而研究了确定度集合对人类决策的辅助作用。结果表明，使用确定度集合来量化模型的不确定性对于人机合作决策和人工智能团队非常有帮助。

    Jan, 2024

  • 学习最优拟合分类器

    本文探讨了在深度学习基础上进行置信区间预测的方法，并提出了一种基于置信区间训练的深度学习模型，该方法可有效地缩小置信边界，同时保证对医学诊断等高风险场景的准确性。

    Oct, 2021

  • 利用符合预测的不确定性定量化地球观测中的概率机器学习

    人工智能系统中使用不可靠的预测会对决策产生负面影响，而基于模型不可知性量化的符合性预测方法可以解决这个问题，特别是在地球观测应用中，该方法可以提供可靠的不确定性信息并增强可靠性。

    Jan, 2024

  • 符合性预测教程

    该论文介绍了通过使用过去的经验来确定新预测的置信水平的改造预测方法，该方法可以应用于任何生成标签预测的方法，并且包括一些数值示例。

    Jun, 2007

  • 辅助任务下的 Few-shot Conformal Prediction

    本文提出了一种基于元学习范式的公式化算法，用于在训练数据有限的情况下进行一致性预测，能够在保持理想边际效应的同时，大幅缩小预测集，该算法具有通用性，适用于自然语言处理、计算机视觉和药物发现等多个领域的少样本分类和回归任务。

    Feb, 2021

  • 评估基于变换预测集的 AI 辅助图像标注的实用性

    在高风险领域中部署深度神经网络时，由于缺乏可解释性，不确定性量化变得具有挑战性。本文通过大规模预注册实验，比较了使用符合性预测集合与 Top-1 和 Top-k 预测展示相比在 AI 辅助图像标注中表现的优势，并发现对易任务来说，预测集合与 Top-1 和 Top-k 展示的准确性相当或略少，但在标记超出分布范围的图像时，特别是当集合大小较小时，预测集合能够卓越地帮助人类进行标注。研究结果从实证角度指出符合性预测集合的实际挑战，并提供了将其纳入实际决策制定的启示。

    Jan, 2024