ICLROct, 2016

神经网络中检测分类错误和超出分布范围示例的基准线

PDF
TL;DR本文研究了如何检测分类错误和分布异常问题，提出了一种基于 softmax 概率分布的简单基准线，在计算机视觉、自然语言处理和自动语音识别等领域展示了这种基准线的有效性，表明这些未充分探索的检测任务有待未来研究。
misclassification detectionout-of-distribution detectionsoftmax distributionscomputer visionnatural language processing
发现论文，激发创造
  • 一种简单的统一框架用于检测样本的离群点和对抗攻击

    本文提出了一种简单而有效的方法，可用于检测任何异常样本，适用于任何预训练的 softmax 神经分类器，在高鲁棒性方面表现优越，同时在检测离群样本和对抗样本方面都取得了最先进的性能，在分类增量学习中有着更广泛的应用。

    Jul, 2018

  • 神经网络的错误分布检测中学习置信度

    通过提出一种简单易实现、产生直观可解释输出的神经网络置信度学习方法，我们成功地实现了对神经网络预测错误的检测以及超出安全执行区域的检测，在该任务中表现优异，并在不需要额外标签或进入区别于正常数据集之外的样本的情况下超过了最近提出的指标构建方法。此外，我们还解决了置信度检测器校准问题，即我们证明被错误分类为正常数据集的正常样本是超出安全执行区域的样本的良好替代品。

    Feb, 2018

  • 训练置信度校准的分类器用于检测离分布样本

    本文提出了一种新的分类器训练方法，通过对深度神经网络引入两个额外的术语来增强分类器的推断性能，并同时训练分类和生成神经网络以解决样本的分布问题，该方法在多个流行的图像数据集上通过使用深度卷积神经网络的实验证明了其有效性。

    Nov, 2017

  • 朝着外部分布检测的现实基准

    深度神经网络在各种技术和服务中得到越来越广泛的应用，但其容易受到来自训练集不同分布的样本的干扰，而常见的解决方法是使深度神经网络具备检测这种样本的能力。本文提出了一种基于 ImageNet 和 Places365 的全面评估标准，根据与训练集的语义相似性，将个别类别分为内部分布和外部分布，通过不同的技术确定哪些类别应被视为内部分布，得到具备不同性质的评估标准。不同的 ODD 检测技术在不同的评估标准下的实验结果表明，它们的有效性取决于所选择的评估标准，而基于置信度的技术在接近 ODD 样本上可能优于基于分类器的技术。

    Apr, 2024

  • 利用多个语义标签表示进行外分布检测

    本文旨在解决神经网络在输入超出数据集分布的情况下的行为问题，作者提出了使用多个来自不同语料库或架构的语义密集表示作为目标标签的方案，并在计算机视觉和语音命令检测任务中评估了该模型并与之前的方法进行了比较，结果表明本文方法比以往方法表现更好，并且还展示了本方案检测错误分类和对抗性示例的效率。

    Aug, 2018

  • 回归基础：重新审视离分布检测基线

    研究了使用已经训练好的神经网络分类器进行图像识别的方法，提出了一种基于分析神经网络映射空间的简单有效的方法对不在分布范围内的图像进行检测识别，成功提高了识别的准确率。

    Jul, 2022

  • 基于框架的分类外分布检测基准及其在 ImageNet 上的应用

    本文提出了一种用于评估图像分类器检测类别 - 分布外实例能力的新框架，并将该技术应用于 ImageNet 数据集，分析结果揭示了多个新观察，包括知识蒸馏能够一致提高分布外实例检测性能，ViTs 的子集比任何其他模型都能更好地检测出分布外实例等。

    Feb, 2023

  • 语义分割中的 OOD 检测的熵最大化和元分类

    本研究提出了一种改进基于像素 softmax 熵的方法的两步流程，通过引入第二个训练目标，最大化对不同数据集的 softmax 熵，并利用手工创造的 Metric 从 softmax 概率得出透明的后处理步骤来降低误检率，从而提高深度神经网络的 OoD 检测性能。

    Dec, 2020

  • 图像字幕中检测识别外部分布的基线算法

    本文探讨了图像标注中的 OOD 检测问题，并提出了评估模型性能的方法。此外，研究分析并展示了使用标题可能性得分来检测和拒绝 OOD 图像的有效性。

    Jul, 2022

  • 应对分布偏移鲁棒性的有效基线

    本研究通过在模型输入中添加专门的弃权类别，并在未经筛选的数据集中训练深度神经网络，建立有效分类器以识别无法归类的数据，并在图像和文本分类等领域上取得了良好表现。

    May, 2021