May, 2018

谨慎深度学习

PDF
TL;DR本文提出了基于条件概率密度 p (x|y) 而非 p (y|x) 的符合性预测集合（conformal prediction sets）来消除分类模型中的傲慢偏差（hubristic bias），该模型在不确定时会输出空集，能很好地应对对抗攻击（adversarial attacks）。在 ImageNet ILSVRC 数据集和 CelebA、IMDB-Wiki 人脸数据集上以高维卷积神经网络为特征进行的实验结果表明它的性能优秀。
classifiersconformal prediction setsconditional distributionhubristic biasadversarial attacks
发现论文，激发创造
  • 评估基于变换预测集的 AI 辅助图像标注的实用性

    在高风险领域中部署深度神经网络时，由于缺乏可解释性，不确定性量化变得具有挑战性。本文通过大规模预注册实验，比较了使用符合性预测集合与 Top-1 和 Top-k 预测展示相比在 AI 辅助图像标注中表现的优势，并发现对易任务来说，预测集合与 Top-1 和 Top-k 展示的准确性相当或略少，但在标记超出分布范围的图像时，特别是当集合大小较小时，预测集合能够卓越地帮助人类进行标注。研究结果从实证角度指出符合性预测集合的实际挑战，并提供了将其纳入实际决策制定的启示。

    Jan, 2024

  • 模糊基准下的整形预测

    在安全关键的分类任务中，我们提出了一种适用于含有模糊标签的情况的 conformal prediction 框架，在 approximated 的标签的基础上通过近似输入的后验分布来进行不确定性的校准。我们在合成和真实数据集上验证了我们的方法，并在皮肤病学中患者条件分类的案例研究中进行了实证。

    Jul, 2023

  • 通过神经模型逼近条件覆盖率和校准性

    通过基于 Transformer 网络的 KNN 近似来构建数据驱动的分区，再通过 Inductive Venn 预测器进行校准，从而实现对不确定性的量化和计算机分类模型预测集的标记，进而实现最终任务的目标。

    May, 2022

  • 学习最优拟合分类器

    本文探讨了在深度学习基础上进行置信区间预测的方法，并提出了一种基于置信区间训练的深度学习模型，该方法可有效地缩小置信边界，同时保证对医学诊断等高风险场景的准确性。

    Oct, 2021

  • 迈向人工智能与人类互补性的预测集

    采用贪婪算法，该论文发现了一种可比或更好性能的预测集构造方法，该方法能帮助基于预测集的决策支持系统有效解决分类任务。

    May, 2024

  • 使用一致性预测的图像分类器的不确定性集合

    介绍了一种修改分类器以输出包含真实标签的预测集的算法，该算法可定量衡量分类器的不确定性，是一种简单且快速的方法，并且与现有技术相比，在保证覆盖率的同时可以实现更小的预测集。

    Sep, 2020

  • 基于标签排序的深度分类器的拟合预测

    通过理论和实验，本文证明了无视概率值可以减轻在 conformal prediction 中概率值失配所导致的大预测集的不良影响。然后，提出了一种名为 “Sorted Adaptive prediction sets” (SAPS) 的新算法，其丢弃除最大 softmax 概率以外的所有概率值，以最小化非符合度分数对概率值的依赖，同时保留不确定性信息，从而生成小型集合并传达逐个实例的不确定性。在理论上，提供了 SAPS 的有限样本覆盖保证，并证明了 SAPS 的预期集合大小始终小于 APS。广泛的实验验证了 SAPS 不仅减小了预测集，还显著提高了预测集的条件覆盖率和适应性。

    Oct, 2023

  • 多类别分类的预期尺寸置信区间

    本文提出了一种在多类分类问题中，通过最小化经验凸风险函数定义的评分函数提供输出类标签集合而不是单一标签的方法，该方法利用凸聚合与 V 折交叉验证原则，具有预期大小的控制和分类风险的最小化性质。

    Aug, 2016

  • 带有许多类别的类条件拟合预测

    本文提出了一种称为聚类置信预测的方法，该方法通过聚类类，将具有 “相似” 信心得分的类聚合在一起，然后在聚类水平上执行置信预测，进行分类问题中的更强的置信度验证，应用于多分类图像数据集中表现更加优秀。

    Jun, 2023

  • 符合性预测教程

    该论文介绍了通过使用过去的经验来确定新预测的置信水平的改造预测方法，该方法可以应用于任何生成标签预测的方法，并且包括一些数值示例。

    Jun, 2007