深度神经网络在各种技术和服务中得到越来越广泛的应用,但其容易受到来自训练集不同分布的样本的干扰,而常见的解决方法是使深度神经网络具备检测这种样本的能力。本文提出了一种基于 ImageNet 和 Places365 的全面评估标准,根据与训练集的语义相似性,将个别类别分为内部分布和外部分布,通过不同的技术确定哪些类别应被视为内部分布,得到具备不同性质的评估标准。不同的 ODD 检测技术在不同的评估标准下的实验结果表明,它们的有效性取决于所选择的评估标准,而基于置信度的技术在接近 ODD 样本上可能优于基于分类器的技术。
Apr, 2024
本文首先提出一个通用的 OOD 检测框架,其中包括了另外四个相关问题的特例或子任务,然后重点回顾了这五个领域的最新技术发展,特别是 OOD 检测方法,并总结了开放的挑战和潜在的研究方向。
Oct, 2021
本文提出了一个更广泛的框架来研究模型针对特定因素(如未知类别、协变量变化等) 检测 out-of-distribution(OOD)问题,该框架能够检测出一个训练好的机器学习模型无法正确预测的测试样例,而是否拒绝该测试样例取决于模型本身,该文提供了大量分析和见解,用以改进和理解在不受控制的环境中的 OOD 检测。
Apr, 2023
本文回顾了最近关于 out-of-distribution 检测的进展,重点关注了自然语言处理方面的方法。通过分类和介绍数据集、应用和评估指标,总结了现有的研究,同时提出了未来的研究方向。
May, 2023
神经网络在未见过的数据类型(分布外或 OOD)上的行为通常是不可预测的。检测输入是否为 OOD 对于神经网络的安全应用至关重要。本研究提出了一个工具,用于用户和神经网络监控器的开发者,实现了对给定输入神经网络的不同监控器的应用,并能够对监控器的超参数进行优化,进行实验评估和与其他方法的比较,同时促进了新的监控方法的开发。通过几个用户类型的使用案例以及对最近文献中不同方法的比较,我们演示了该工具的易用性。
May, 2024
本文提出了一个名为 OpenOOD 的统一的、结构化的代码库,该库实现了超过 30 种 ODD 检测方法,并在最近提出的一般化 OOD 检测框架下提供了全面的基准。作者通过对这些方法的全面比较发现,过去几年中,该领域取得了显著进展,其中预处理方法和正交后处理方法显示出很强的潜力。
Oct, 2022
本文旨在识别常见的目标,以及识别不同 OOD 检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似,二进制区分器达到与异常暴露相似的 OOD 检测性能,还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试 out-distribution 相同时的函数相似的隐含评分函数,从实践中发现,这些方法训练方式一致时都表现相似。
Jun, 2022
不断进行未标注 OOD 检测的新设置,使用融合 Mahalanobis 距离和最近邻方法的 U-OOD 评分函数,并设计了一种置信度缩放的少样本 OOD 检测器,大幅改善相关领域的强基准模型。
Jun, 2024
通过信息论角度分析,本文提出一种将训练好的神经网络转换为 ODD 检测器的方法,该方法使用少量梯度下降步骤,且在流行的图像数据集上准确性优于现有方法,并且减少了计算复杂度。
Feb, 2022
通过分析网络入侵检测中机器学习的应用,以及探究其他领域中现有的检测器是否能有效识别网络安全新形式的入侵以及改进的嵌入空间如何增强检测,本文发现现有检测器能够辨别出部分新的恶意网络流量,并且改进的嵌入空间能够提升检测性能。同时,简单的检测器组合可以在所测试的场景中几乎识别出 100% 的恶意流量。
Aug, 2023