May, 2024

使用符合预测法进行深度学习模型校准外检测

PDF
TL;DR在遥感等关键应用中，深度学习模型的黑盒特性使其使用变得复杂。与数据可交换性相关的符合预测是一种能确保信任的方法，可提供有限样本覆盖保证，以用户定义的错误率为形式，确保预测集合包含真实类别。本文展示了符合预测算法与深度学习模型的不确定性相关，并可用于检测模型是否未校准。通过将 Resnet50、Densenet161、InceptionV3 和 MobileNetV2 等常见分类模型应用于遥感数据集，如 EuroSAT，证明在噪声场景下模型的输出变得不可靠。此外，还提出了一种基于模型不确定性和符合预测集合平均大小的未校准检测程序。
deep learning modelsconformal predictionremote sensinguncertaintyout-of-calibration detection
发现论文，激发创造
  • 用于医学图像应用的公平一致性预测器

    本文探讨了如何利用符合性预测相结合的深度学习方法，提高医学影像技术在医学决策中的透明性和可靠性，并在皮肤病例分类方面进行了实证研究，认为在患者肤色差异方面可适当改进符合性预测模型。同时，对比了其与认知不确定性的差异。

    Sep, 2021

  • 深度学习模型不确定性的置信度量化

    本文探讨了在深度神经网络中表示模型不确定性的 Conformal Prediction 框架，提出了一种新的基于概率方法的模型不确定性量化方法，并提供了可靠的边界用于计算不确定度。

    Jun, 2023

  • 利用符合预测的不确定性定量化地球观测中的概率机器学习

    人工智能系统中使用不可靠的预测会对决策产生负面影响，而基于模型不可知性量化的符合性预测方法可以解决这个问题，特别是在地球观测应用中，该方法可以提供可靠的不确定性信息并增强可靠性。

    Jan, 2024

  • 基于符合预测和符合风险控制的自信目标检测：以铁路信号为例

    本文介绍了一种基于符合性预测的可靠和可信预测器的使用，以便于在实际场景中部署深度学习模型，并提供能够准确反映其不确定性的置信度估计。作者结合新颖的数据集和现代化的目标检测器反复测试了几种符合性方法，并基于符合风险控制提出了新的方法，以此为目的，展示出符合性预测框架在评估模型性能和为实现正式保证的不确定性边界提供实际指导的潜力。

    Apr, 2023

  • 结合分割一致预测与贝叶斯深度学习的超出分布覆盖率

    贝叶斯深度学习和符合性预测是两种用于传达不确定性并增强机器学习系统安全性的方法，本文关注将贝叶斯深度学习与拆分符合性预测相结合，并探讨这种组合对于多类图像分类中的带外覆盖的影响。研究结果表明，当模型在校准集上普遍缺乏信心时，所得到的符合性集合可能比简单的预测可信集合显示出更差的带外覆盖；相反，当模型在校准集上过于自信时，采用符合性预测可能提高带外覆盖。我们评估了结合拆分符合方法和使用（i）随机梯度下降，（ii）深度集成和（iii）平均场变分推断训练的神经网络的预测集。研究结果表明，在某些情况下，将贝叶斯深度学习模型与拆分符合性预测相结合可能导致意外后果，例如降低带外覆盖。

    Nov, 2023

  • 一个温和的介绍：拟合预测及无分布不确定性量化

    介绍一种无需分布假设或模型假设，可用于任何预训练模型（如神经网络）生成 100% 正确性置信区间（信赖区间）的方法， 称之为一致预测；并提供了 Python 示例代码和 Jupyter 笔记本来说明此方法在计算机视觉、自然语言处理和深度强化学习等领域上的应用。

    Jul, 2021

  • 模糊基准下的整形预测

    在安全关键的分类任务中，我们提出了一种适用于含有模糊标签的情况的 conformal prediction 框架，在 approximated 的标签的基础上通过近似输入的后验分布来进行不确定性的校准。我们在合成和真实数据集上验证了我们的方法，并在皮肤病学中患者条件分类的案例研究中进行了实证。

    Jul, 2023

  • 共形在线模型聚合

    这篇论文介绍了一种在在线环境中通过投票将多个算法的预测集合结合起来的方法，从而解决了在 conformal prediction 中的模型选择和 / 或聚合问题。

    Mar, 2024

  • 学习最优拟合分类器

    本文探讨了在深度学习基础上进行置信区间预测的方法，并提出了一种基于置信区间训练的深度学习模型，该方法可有效地缩小置信边界，同时保证对医学诊断等高风险场景的准确性。

    Oct, 2021

  • 带有噪声标签的自适应适合性分类

    该研究开发了新的遵循性预测方法，用于分类任务，可以自动适应标签污染，实现比现有方法更具信息量的预测集，并提供更强的覆盖保证。通过对标签污染下标准遵循性推断所面临的准确理论特征进行精确刻画，并通过新的校准算法实施行动。我们的解决方法灵活，并且可以利用关于标签污染过程的不同建模假设，同时无需关于数据分布或机器学习分类器内部工作的任何知识。通过广泛的模拟实验和对 CIFAR-10H 图像数据集的对象分类应用来证明了所提出方法的优势。

    Sep, 2023