Apr, 2023

基于符合预测和符合风险控制的自信目标检测：以铁路信号为例

PDF
TL;DR本文介绍了一种基于符合性预测的可靠和可信预测器的使用，以便于在实际场景中部署深度学习模型，并提供能够准确反映其不确定性的置信度估计。作者结合新颖的数据集和现代化的目标检测器反复测试了几种符合性方法，并基于符合风险控制提出了新的方法，以此为目的，展示出符合性预测框架在评估模型性能和为实现正式保证的不确定性边界提供实际指导的潜力。
发现论文，激发创造
  • 使用符合预测法进行深度学习模型校准外检测

    在遥感等关键应用中，深度学习模型的黑盒特性使其使用变得复杂。与数据可交换性相关的符合预测是一种能确保信任的方法，可提供有限样本覆盖保证，以用户定义的错误率为形式，确保预测集合包含真实类别。本文展示了符合预测算法与深度学习模型的不确定性相关，并可用于检测模型是否未校准。通过将 Resnet50、Densenet161、InceptionV3 和 MobileNetV2 等常见分类模型应用于遥感数据集，如 EuroSAT，证明在噪声场景下模型的输出变得不可靠。此外，还提出了一种基于模型不确定性和符合预测集合平均大小的未校准检测程序。

    May, 2024

  • 用于医学图像应用的公平一致性预测器

    本文探讨了如何利用符合性预测相结合的深度学习方法，提高医学影像技术在医学决策中的透明性和可靠性，并在皮肤病例分类方面进行了实证研究，认为在患者肤色差异方面可适当改进符合性预测模型。同时，对比了其与认知不确定性的差异。

    Sep, 2021

  • 学习最优拟合分类器

    本文探讨了在深度学习基础上进行置信区间预测的方法，并提出了一种基于置信区间训练的深度学习模型，该方法可有效地缩小置信边界，同时保证对医学诊断等高风险场景的准确性。

    Oct, 2021

  • 利用符合预测的不确定性定量化地球观测中的概率机器学习

    人工智能系统中使用不可靠的预测会对决策产生负面影响，而基于模型不可知性量化的符合性预测方法可以解决这个问题，特别是在地球观测应用中，该方法可以提供可靠的不确定性信息并增强可靠性。

    Jan, 2024

  • 深度学习模型不确定性的置信度量化

    本文探讨了在深度神经网络中表示模型不确定性的 Conformal Prediction 框架，提出了一种新的基于概率方法的模型不确定性量化方法，并提供了可靠的边界用于计算不确定度。

    Jun, 2023

  • 深度回归森林用于抗癌药物敏感性预测的高效归一化一致性预测与不确定性量化

    通过计算深度回归树获得的方差，我们提出了一种方法来估计每个样本的不确定性，显示深度回归森林方差提高了规范化归纳预测模型在药物反应预测任务中的效率和覆盖率。

    Feb, 2024

  • 模糊基准下的整形预测

    在安全关键的分类任务中，我们提出了一种适用于含有模糊标签的情况的 conformal prediction 框架，在 approximated 的标签的基础上通过近似输入的后验分布来进行不确定性的校准。我们在合成和真实数据集上验证了我们的方法，并在皮肤病学中患者条件分类的案例研究中进行了实证。

    Jul, 2023

  • 基于一致预测集的人类决策改善

    在这项研究中，我们通过进行一项预先注册的随机对照试验，提供给人类被试一些确定度集合，从而研究了确定度集合对人类决策的辅助作用。结果表明，使用确定度集合来量化模型的不确定性对于人机合作决策和人工智能团队非常有帮助。

    Jan, 2024

  • 一个温和的介绍：拟合预测及无分布不确定性量化

    介绍一种无需分布假设或模型假设，可用于任何预训练模型（如神经网络）生成 100% 正确性置信区间（信赖区间）的方法， 称之为一致预测；并提供了 Python 示例代码和 Jupyter 笔记本来说明此方法在计算机视觉、自然语言处理和深度强化学习等领域上的应用。

    Jul, 2021

  • 形式风险控制

    本文扩展了符合预测的范畴，使其可以控制任何单调损失函数的期望值，并提出了符合风险控制过程。从计算机视觉和自然语言处理方面的实例证明了我们算法在限制误差率，图距离和标牌级别 F1 得分方面的应用。

    Aug, 2022