Jan, 2024

评估基于变换预测集的 AI 辅助图像标注的实用性

PDF
TL;DR在高风险领域中部署深度神经网络时，由于缺乏可解释性，不确定性量化变得具有挑战性。本文通过大规模预注册实验，比较了使用符合性预测集合与 Top-1 和 Top-k 预测展示相比在 AI 辅助图像标注中表现的优势，并发现对易任务来说，预测集合与 Top-1 和 Top-k 展示的准确性相当或略少，但在标记超出分布范围的图像时，特别是当集合大小较小时，预测集合能够卓越地帮助人类进行标注。研究结果从实证角度指出符合性预测集合的实际挑战，并提供了将其纳入实际决策制定的启示。
deep neural networksinterpretabilityuncertainty quantificationconformal prediction setsai-advised decision-making
发现论文，激发创造
  • 基于一致预测集的人类决策改善

    在这项研究中，我们通过进行一项预先注册的随机对照试验，提供给人类被试一些确定度集合，从而研究了确定度集合对人类决策的辅助作用。结果表明，使用确定度集合来量化模型的不确定性对于人机合作决策和人工智能团队非常有帮助。

    Jan, 2024

  • 迈向人工智能与人类互补性的预测集

    采用贪婪算法，该论文发现了一种可比或更好性能的预测集构造方法，该方法能帮助基于预测集的决策支持系统有效解决分类任务。

    May, 2024

  • 模糊基准下的整形预测

    在安全关键的分类任务中，我们提出了一种适用于含有模糊标签的情况的 conformal prediction 框架，在 approximated 的标签的基础上通过近似输入的后验分布来进行不确定性的校准。我们在合成和真实数据集上验证了我们的方法，并在皮肤病学中患者条件分类的案例研究中进行了实证。

    Jul, 2023

  • 人工智能团队中预测集的效用

    本文研究了如何在人与 AI 的合作中使用置信预测（conformal prediction）方法，发现使用置信预测可以提高团队绩效，引入 D-CP 方法则可以降低置信预测中的不确定性。

    May, 2022

  • 深度学习模型不确定性的置信度量化

    本文探讨了在深度神经网络中表示模型不确定性的 Conformal Prediction 框架，提出了一种新的基于概率方法的模型不确定性量化方法，并提供了可靠的边界用于计算不确定度。

    Jun, 2023

  • 置信可行集预测器

    使用与所提目的相应的相合预测的方法，成功地用置信集对分类任务进行预测。

    Feb, 2024

  • 谨慎深度学习

    本文提出了基于条件概率密度 p (x|y) 而非 p (y|x) 的符合性预测集合（conformal prediction sets）来消除分类模型中的傲慢偏差（hubristic bias），该模型在不确定时会输出空集，能很好地应对对抗攻击（adversarial attacks）。在 ImageNet ILSVRC 数据集和 CelebA、IMDB-Wiki 人脸数据集上以高维卷积神经网络为特征进行的实验结果表明它的性能优秀。

    May, 2018

  • 使用一致性预测的图像分类器的不确定性集合

    介绍了一种修改分类器以输出包含真实标签的预测集的算法，该算法可定量衡量分类器的不确定性，是一种简单且快速的方法，并且与现有技术相比，在保证覆盖率的同时可以实现更小的预测集。

    Sep, 2020

  • 基于符合预测的深度分类器的证据不确定性集合

    利用证据一致性预测方法（ECP）为图像分类器生成一致性预测集，通过基于非一致性评分函数，利用目标标签的对数几率值推导出的证据计算非一致性评分函数的组成部分：一致性预测中的不确定性启发式概念、不确定性惊喜度和期望效用，实验评估结果证明，ECP 在生成一致性预测集方面优于三种先进方法，同时保持了对真实标签的覆盖。

    Jun, 2024

  • 用于医学图像应用的公平一致性预测器

    本文探讨了如何利用符合性预测相结合的深度学习方法，提高医学影像技术在医学决策中的透明性和可靠性，并在皮肤病例分类方面进行了实证研究，认为在患者肤色差异方面可适当改进符合性预测模型。同时，对比了其与认知不确定性的差异。

    Sep, 2021