语义一致的异常检测
通过广泛的实验,我们展示了当前的 ODD 检测器对于协变量转移比语义转移更为敏感,并且最新的 ODD 检测算法对于语义转移的检测效果微乎其微。我们的数据集和分析为指导未来的 ODD 检测器设计提供了重要见解。
Oct, 2023
深度神经网络在各种技术和服务中得到越来越广泛的应用,但其容易受到来自训练集不同分布的样本的干扰,而常见的解决方法是使深度神经网络具备检测这种样本的能力。本文提出了一种基于 ImageNet 和 Places365 的全面评估标准,根据与训练集的语义相似性,将个别类别分为内部分布和外部分布,通过不同的技术确定哪些类别应被视为内部分布,得到具备不同性质的评估标准。不同的 ODD 检测技术在不同的评估标准下的实验结果表明,它们的有效性取决于所选择的评估标准,而基于置信度的技术在接近 ODD 样本上可能优于基于分类器的技术。
Apr, 2024
本文提出了一个名为 OpenOOD 的统一的、结构化的代码库,该库实现了超过 30 种 ODD 检测方法,并在最近提出的一般化 OOD 检测框架下提供了全面的基准。作者通过对这些方法的全面比较发现,过去几年中,该领域取得了显著进展,其中预处理方法和正交后处理方法显示出很强的潜力。
Oct, 2022
本文讨论了在实际场景中对特定语境下的语义异常进行评估的问题,并提出了一组以实际应用为基础的基准。我们使用一种基于多任务学习算法的方法在这些基准上取得了进展,并证明了辅助目标的提高可以改善语义感知,同时带来更好的一般化收益。
Aug, 2019
不断进行未标注 OOD 检测的新设置,使用融合 Mahalanobis 距离和最近邻方法的 U-OOD 评分函数,并设计了一种置信度缩放的少样本 OOD 检测器,大幅改善相关领域的强基准模型。
Jun, 2024
本文提出了一个更广泛的框架来研究模型针对特定因素(如未知类别、协变量变化等) 检测 out-of-distribution(OOD)问题,该框架能够检测出一个训练好的机器学习模型无法正确预测的测试样例,而是否拒绝该测试样例取决于模型本身,该文提供了大量分析和见解,用以改进和理解在不受控制的环境中的 OOD 检测。
Apr, 2023
本研究介绍了 OpenOOD v1.5,它是 OpenOOD v1 的显著改进,旨在确保精确、标准化和用户友好的 Out-of-Distribution 检测方法评估。OpenOOD v1.5 将其评估能力扩展到大规模数据集,研究全谱 Out-of-Distribution 检测,并引入了在线排行榜和易于使用的评估器等新功能,从而为 OOD 检测研究提供更加稳健和全面的评估基准。
Jun, 2023
本研究构建了一个名为 Incremental Shift OOD(IS-OOD)的基准,通过基于提出的语言对齐图像特征分解(LAID)的移位测量方法,将测试样本分成不同的子集,相对于 ID 数据集具有不同的语义和协变量移位程度,以解决当前存在的超出分布(OOD)检测基准中的 Sorites 悖论问题。此外,还构建了包含更多多样的协变量内容的高质量生成图像的 Synthetic Incremental Shift(Syn-IS)数据集,以补充 IS-OOD 基准。研究评估了在本基准上进行的当前 OOD 检测方法,并发现几个重要结论:(1)大多数 OOD 检测方法的性能随着语义移位的增加而显著提高;(2)某些方法如 GradNorm 在做出决策时较少依赖于语义移位,可能具有不同的 OOD 检测机制;(3)图像中过度的协变量移位也可能被某些方法视为 OOD。
Jun, 2024
提出了一种名为 ODPC 的新方法,通过大型语言模型设计生成特定提示词来产生具有 ID 语义的 OOD 对等类,以便于检测,并采用基于 OOD 对等类的对比损失来学习紧凑的 ID 类别表示,并改善不同类别之间的界限清晰度。在五个基准数据集上进行的广泛实验表明,该方法可以得到最先进的结果。
Mar, 2024
本文提出了一种针对视觉分类中的开放世界场景中的数据分割问题的新方法,该方法能够训练出一个专门针对原始训练集以及更大的 “背景” 数据集的 ODD(出现在分布之外的异常值)检测模型,并在测试复杂自然图像的数据集中得到了优异的表现。
Aug, 2018