AAAIDec, 2023

如何解决超出分布检测的维度诅咒？

PDF
TL;DR机器学习模型在野外部署时可能会受到未知类别的离群数据的挑战。最近对 OOD 检测的进展依赖于距离度量，以区分相对于内部分布数据而言相对较远的样本。尽管有前景，但基于距离的方法可能受到维度灾难问题的困扰，从而限制了在高维特征空间中的功效。为解决这个问题，我们提出了一种新颖的框架 Subspace Nearest Neighbor（SNN）用于 OOD 检测。在训练中，我们的方法通过利用最相关的子维度（即子空间）来规范化模型及其特征表示。子空间学习产生了 ID 和 OOD 数据之间高度可区分的距离度量。我们提供了全面的实验证明 SNN 的有效性。与当前最佳的基于距离的方法相比，SNN 在 CIFAR-100 基准测试中将平均 FPR95 降低了 15.96%。
machine learning modelsout-of-distribution dataood detectiondistance-based methodssubspace nearest neighbor
发现论文，激发创造
  • 利用子空间技术和特征的概率建模进行样本外检测

    本文提出了一种基于降维增强深度神经网络（DNN）的离群检测方法：通过对高维特征进行线性与非线性降维，得到更真实的特征嵌入子空间，利用其计算分布学习和特征重构误差有效地检测不在分布内的样本，实验结果表明其效果优于一些已有方法。

    Dec, 2020

  • 深度最近邻实现的超范围检测

    本文研究使用非参数最近邻距离方法进行开放世界中一类重要任务：Out-of-distribution 检测，不同于先前的研究，该方法不施加任何分布假设，因此具有更强的灵活性和普适性，在多个基准测试中证明了其有效性，并且相对强基线的 Mahalanobis 距离方法，显著降低了 24.77% 误报率 (FPR@TPR95)。

    Apr, 2022

  • 基于最后卷积层输出的高维特征子空间投影的异常检测

    这篇论文集中在最后的卷积层输出的高维特征上，通过将这些高维特征投影到两个具体的特征子空间，借助网络的线性层的降维能力来识别产生在训练分布之外的数据，从而实现可靠的模式分类检测。我们的方法不需要输入预处理或特定的数据预调优，通过修改全连接层之前的批归一化和 ReLU 层，减小它们对输出特征分布的影响，扩大了 ID 和 OOD 数据特征之间的分布差距，并在多个基准数据集上进行了广泛实验，展示出最先进的性能。

    May, 2024

  • 持续无监督的外部分布检测

    不断进行未标注 OOD 检测的新设置，使用融合 Mahalanobis 距离和最近邻方法的 U-OOD 评分函数，并设计了一种置信度缩放的少样本 OOD 检测器，大幅改善相关领域的强基准模型。

    Jun, 2024

  • 全面的 OOD 检测改进

    机器学习中，识别推理数据是否超出模型的预期输入分布对于给出预测的上下文至关重要。我们的研究针对基于表示或基于逻辑方法的超出分布检测方法，并提出了用于特征嵌入降维的表示方法和解决了一个问题的基于逻辑方法。我们在 OpenOODv1.5 基准框架上验证了我们方法的有效性，结果显示性能显著提升，并达到了最新的技术水平。

    Jan, 2024

  • 通过白化线性判别分析进行深度神经网络未知数据检测

    本研究提出了一种新的特征空间离群点检测算法，使用去白线性判别分析将特征投影到判别子空间和残差子空间中，并结合两个子空间中输入数据与内部分布偏差的大小确定离群点得分，证明了该算法在大规模数据集上的优越性及其对深度分类器的有效性，并在具有对比目标训练的表示空间中更有效地检测新概念。

    Mar, 2023

  • OOD 感知的有监督对比学习

    使用 SupCon 训练从训练分布中识别外分布样本是机器学习模型安全部署中的重要问题。我们在这项工作中运用强大的 SupCon 学习表征，并提出了一种全面的方法来学习对 OOD 数据稳健的分类器。我们通过增加两个对比项来扩展 SupCon 损失，第一个项将辅助 OOD 表征与 ID 表征分开，而不对辅助数据的相似性产生任何约束。第二个项将 OOD 特征远离现有类原型，并将 ID 表征推近其对应的类原型。当辅助 OOD 数据不可用时，我们提出了特征混合技术来高效生成伪 OOD 特征。我们的解决方案简单高效，作为闭集监督对比表征学习的自然扩展。我们在常见基准测试中与不同的 OOD 检测方法进行了比较，并展示了最先进的结果。

    Oct, 2023

  • 低维度梯度有助于外部分布检测

    通过对梯度信息进行线性降维，结合现有的检测评分函数，我们的方法在各种检测任务中展示了卓越的性能，例如在 ImageNet 基准测试中，我们的方法相较于当前最先进方法，在 95% 召回率时，假阳性率平均减少了 11.15%。

    Oct, 2023

  • 分类器中的数据分布外检测 via 生成

    本文中，我们通过研究生成 “有效” 的 OOD 样本的复杂性，分析了调整之前的方法的可行性。我们提出了一种使用流形学习网络（例如变分自编码器）生成这些样本的新算法，然后训练一个 $n+1$ 分类器来检测 OOD，其中第 $n+1$ 类代表 OOD 样本。我们在 MNIST 和 Fashion-MNIST 数据集上将我们的方法与几种最近的基于分类器的 OOD 检测器进行了比较，实验表明我们的方法总体上表现更好。

    Oct, 2019

  • 基于快速决策边界的离群检测器

    提高了 Out-of-Distribution 检测的效率和效果的平衡，通过使用特征空间、决策边界和不需要辅助模型的方法，实现了与现有方法相媲美甚至更好的效果，并且在推理延迟方面几乎没有明显的开销。

    Dec, 2023