本文提出了一种用于评估图像分类器检测类别 - 分布外实例能力的新框架，并将该技术应用于 ImageNet 数据集，分析结果揭示了多个新观察，包括知识蒸馏能够一致提高分布外实例检测性能，ViTs 的子集比任何其他模型都能更好地检测出分布外实例等。

Feb, 2023

深度神经网络在各种技术和服务中得到越来越广泛的应用，但其容易受到来自训练集不同分布的样本的干扰，而常见的解决方法是使深度神经网络具备检测这种样本的能力。本文提出了一种基于 ImageNet 和 Places365 的全面评估标准，根据与训练集的语义相似性，将个别类别分为内部分布和外部分布，通过不同的技术确定哪些类别应被视为内部分布，得到具备不同性质的评估标准。不同的 ODD 检测技术在不同的评估标准下的实验结果表明，它们的有效性取决于所选择的评估标准，而基于置信度的技术在接近 ODD 样本上可能优于基于分类器的技术。

Apr, 2024

深度学习模型在封闭集假设下表现良好，但在开放集条件下部署时遇到困难。本文提出了一种级联未知检测与已知分类方法（Cas-DC），通过学习专门用于已知 / 未知检测和已知类别分类的级联函数，实现在开放集识别任务中优于现代方法的性能表现。

Jun, 2024

通过提出一种简单易实现、产生直观可解释输出的神经网络置信度学习方法，我们成功地实现了对神经网络预测错误的检测以及超出安全执行区域的检测，在该任务中表现优异，并在不需要额外标签或进入区别于正常数据集之外的样本的情况下超过了最近提出的指标构建方法。此外，我们还解决了置信度检测器校准问题，即我们证明被错误分类为正常数据集的正常样本是超出安全执行区域的样本的良好替代品。

Feb, 2018

探讨深度神经网络架构与训练机制与其相应的选择性预测和不确定性估计性能的关系，并在 484 个预训练的深度 Imagenet 分类器中进行了全面的选择性预测和不确定性估计性能研究，发现 ViT 架构在不确定性估计性能方面表现最优。

Jun, 2022

本文探讨了基于预测不确定性的区分内外样本检测问题的解决方案，并通过极值理论的开放集识别方法对不同模型的本体不确定性进行了比较分析。同时通过实验，我们发现生成模型的后验 open set 识别方法优于区分模型和基于预测不确定性的异常检测方法，从而引出了分类器是否需要具备生成能力才能够识别未知类别的疑问。

Aug, 2019

本研究提出了一种替代贝叶斯 NN 的简单实现方法，其能够产生高质量的预测不确定性估计，并在分类和回归数据集上进行了实验以证明这一点。此外，研究还评估了在已知和未知数据分布下的预测不确定性，并证明该方法能够在超出分布的样本上表现出更高的不确定性，同时在 ImageNet 上证明了该方法的可扩展性。

Dec, 2016

我们提出了一种基于假设的方法来确定新样本是属于训练集范围内还是超出范围，在黑盒系统中，通过深度神经网络 (DNN) 计算超出范围 (Out-of-Distribution, OoD) 的隐含回应，并将 OoD 检测问题形式化为不同组的隐含回应之间的假设检验。我们将这种方法应用于一个训练好的深度学习模型，用以检测未知的细菌样本，并展示了其在 InD 和 OoD 隐含回应之间揭示了可解释的差异。该方法对于系统性的新颖性检测和基于子标签训练的分类器的明智决策具有重要意义。

Mar, 2024

本文旨在解决神经网络在输入超出数据集分布的情况下的行为问题，作者提出了使用多个来自不同语料库或架构的语义密集表示作为目标标签的方案，并在计算机视觉和语音命令检测任务中评估了该模型并与之前的方法进行了比较，结果表明本文方法比以往方法表现更好，并且还展示了本方案检测错误分类和对抗性示例的效率。

Aug, 2018

该研究以深度神经网络模型为对象，研究了其在处理异常情况（如分布外或扰动数据）时的不确定性。研究通过实验证明，使用预训练模型进行分类对于异常图像表现良好，基于概率平均的集成模型能够进一步提高分类性能，而添加扰动会显著影响模型的鲁棒性，表明了人工智能模型的局限性。

Sep, 2023