ICLRNov, 2020

深度神经网络分类器的 PAC 置信度预测

PDF
TL;DR本文提出了一种新算法来构建深度神经网络的预测分类置信度，并证明了其正确性保证。此外，展示了如何利用预测置信度实现高速 DNN 推理和安全规划，并在实验中展示了其在最先进的 DNN 中提供保证的能力。
deep neural networksuncertainty quantificationclopper-pearson confidence intervalscalibrated predictionsafety critical settings
发现论文，激发创造
  • 通过校准预测为深度神经网络构建 PAC 置信集

    我们提出了一种算法，将校准预测与从学习理论推导的泛化界限相结合，构建深度神经网络的置信集，具有 PAC 保证 —— 即给定输入的置信集具有很高的真标签概率。我们演示了如何在 ResNet for ImageNet、视觉对象跟踪模型和半猎豹强化学习问题的动态模型上使用我们的方法构建 PAC 置信集。

    Dec, 2019

  • 深度神经网络的置信度感知学习

    本文提出了一种基于 Correctness Ranking Loss 的深度神经网络训练方法，可以对类别概率进行显式的正序排名，提高置信度预测。该方法易于实现，不需要额外的计算代价，适用于现有体系结构，并且在分类基准数据集上表现良好。同时，还对置信度估计相关的任务，如超出分布检测和主动学习，具有相同的可靠性。

    Jul, 2020

  • 基于置信度估计的不确定性感知狄利克雷网络故障预测

    本研究介绍了基于不确定性的深度狄利克雷神经网络可靠地评估模型置信度和预测错误，提出新的准则基于置信度分数匹配来学习正确预测和失败的真实类别概率，并在多个图像分类任务上取得了优于传统网络最大类概率的预测真实类别概率的实验结果。

    Oct, 2020

  • 基于距离的神经网络分类器置信度

    本文提出了一种基于神经网络中数据嵌入的简单可扩展的可靠置信度评分方法，通过距离损失或对抗训练对得到的嵌入进行处理，比传统置信度评分在分类错误预测、加权分类器集成以及新颖性检测中表现更加优异。

    Sep, 2017

  • 网络校准的置信度和确定性的多类别对齐

    我们提出了一种基于多类对齐预测均值置信度和预测确定度（MACC）的新的训练时校准方法，通过鼓励模型在预 softmax 分布中提供低（或高）扩散，从而达到了领域内和领域外预测的最先进校准性能。

    Sep, 2023

  • Confidence-Nets: 面向小数据集回归神经网络更好预测区间的一步

    本文介绍了一种组合 DNN、XGBoost 和差异性计算技术的集成方法，用于估计预测的不确定性、提高准确性并提供预期变化的区间，其计算简单，适用于小数据集且性能提升显著，且模型的预测区间可平均包括实际值的 71％和 78％。

    Oct, 2022

  • 深度神经网络在线黑盒置信度估计

    本文提出了一种用于估计任意深度神经网络分类置信度的指标 —— 邻域置信度 (NHC)，可用于自动驾驶和高级驾驶辅助系统中实时可行并且不需要访问梯度，训练数据集或保留验证数据集。在不同的数据分布下进行评估，包括小的领域分布移位，域外数据或对抗性攻击，结果表明，在低数据方案下，NHC 的表现优于或与一种在线的白盒置信度估计方法相当，这是自动驾驶和高级驾驶辅助系统所需的。

    Feb, 2023

  • 基于似然比的神经网络置信区间

    该论文介绍了一种利用似然比方法构建神经网络置信区间的初步实现，提出了 DeepLR 方法，该方法具有限定数据区域扩展的不对称区间以及考虑训练时间、网络结构和正则化技术等因素的优势。尽管当前实现方式在许多深度学习应用中代价过高，但在医学预测或天体物理学等领域，对单个预测的可靠不确定性估计已经具有明确的价值。这项工作突显了基于似然比的不确定性估计的潜力，并为未来的研究打下了良好基础。

    Aug, 2023

  • 基于神经网络输出层分布的分类置信度估计

    本文提出了一种基于 logit 值分布的神经网络分类模型的不确定性预测和置信水平估计方法，可用于知识提取过程中的预测筛选，并在关系提取、命名实体识别和图像分类等任务中获得显著的提高。

    Oct, 2022

  • 神经网络的更严格风险证明

    本文基于 PAC-Bayes 边界提出了两种新的训练目标用于训练概率神经网络，并使用数据证明了这些方法能够帮助模型精确 bounding risk，从而具有自证明学习的应用前景。

    Jul, 2020