基于快速决策边界的离群检测器
本文研究使用非参数最近邻距离方法进行开放世界中一类重要任务:Out-of-distribution 检测,不同于先前的研究,该方法不施加任何分布假设,因此具有更强的灵活性和普适性,在多个基准测试中证明了其有效性,并且相对强基线的 Mahalanobis 距离方法,显著降低了 24.77% 误报率 (FPR@TPR95)。
Apr, 2022
基于 Neural Collapse 观察的特征向量相似度,我们提出了一种高度灵活的 Neural Collapse inspired OOD 检测器(NC-OOD),通过利用 ID 特征聚类性和 OOD 特征与原点的距离性,显著提高了现有工作的泛化能力,同时在不同分类任务、训练损失和模型架构的广泛实验中,始终实现了最新的 OOD 检测性能。
Nov, 2023
本文提出了一种基于野外混合数据的新颖框架,旨在改进在野外部署的机器学习模型的 OOD 检测能力,通过最大化 OOD 检测率并设定 ID 数据的分类误差和 ID 示例的 OOD 错误率的约束条件的学习目标,有效地解决了这个问题,并在常见的 OOD 检测任务中获得了优异的性能。
Feb, 2022
不断进行未标注 OOD 检测的新设置,使用融合 Mahalanobis 距离和最近邻方法的 U-OOD 评分函数,并设计了一种置信度缩放的少样本 OOD 检测器,大幅改善相关领域的强基准模型。
Jun, 2024
本文旨在识别常见的目标,以及识别不同 OOD 检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似,二进制区分器达到与异常暴露相似的 OOD 检测性能,还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试 out-distribution 相同时的函数相似的隐含评分函数,从实践中发现,这些方法训练方式一致时都表现相似。
Jun, 2022
本文中,我们通过研究生成 “有效” 的 OOD 样本的复杂性,分析了调整之前的方法的可行性。我们提出了一种使用流形学习网络(例如变分自编码器)生成这些样本的新算法,然后训练一个 $n+1$ 分类器来检测 OOD,其中第 $n+1$ 类代表 OOD 样本。我们在 MNIST 和 Fashion-MNIST 数据集上将我们的方法与几种最近的基于分类器的 OOD 检测器进行了比较,实验表明我们的方法总体上表现更好。
Oct, 2019
机器学习模型在野外部署时可能会受到未知类别的离群数据的挑战。最近对 OOD 检测的进展依赖于距离度量,以区分相对于内部分布数据而言相对较远的样本。尽管有前景,但基于距离的方法可能受到维度灾难问题的困扰,从而限制了在高维特征空间中的功效。为解决这个问题,我们提出了一种新颖的框架 Subspace Nearest Neighbor(SNN)用于 OOD 检测。在训练中,我们的方法通过利用最相关的子维度(即子空间)来规范化模型及其特征表示。子空间学习产生了 ID 和 OOD 数据之间高度可区分的距离度量。我们提供了全面的实验证明 SNN 的有效性。与当前最佳的基于距离的方法相比,SNN 在 CIFAR-100 基准测试中将平均 FPR95 降低了 15.96%。
Dec, 2023
机器学习中,识别推理数据是否超出模型的预期输入分布对于给出预测的上下文至关重要。我们的研究针对基于表示或基于逻辑方法的超出分布检测方法,并提出了用于特征嵌入降维的表示方法和解决了一个问题的基于逻辑方法。我们在 OpenOODv1.5 基准框架上验证了我们方法的有效性,结果显示性能显著提升,并达到了最新的技术水平。
Jan, 2024
本研究提出了一种基于极值的新型 OOD 检测框架 XOOD,包括两个算法:完全无监督的 XOOD-M 和自我监督的 XOOD-L,两者都依赖于神经网络中激活层数据的极值信号以区分内部分布和 OOD 实例。实验证明,XOOD-M 和 XOOD-L 在效率和准确性方面均优于现有的状态 - of-the-art OOD 检测方法,在降低误报率(FPR95)50%,同时将推理时间提高一个数量级。
Aug, 2022
本文提出了一个名为 OpenOOD 的统一的、结构化的代码库,该库实现了超过 30 种 ODD 检测方法,并在最近提出的一般化 OOD 检测框架下提供了全面的基准。作者通过对这些方法的全面比较发现,过去几年中,该领域取得了显著进展,其中预处理方法和正交后处理方法显示出很强的潜力。
Oct, 2022