May, 2024

基于最后卷积层输出的高维特征子空间投影的异常检测

PDF
TL;DR这篇论文集中在最后的卷积层输出的高维特征上，通过将这些高维特征投影到两个具体的特征子空间，借助网络的线性层的降维能力来识别产生在训练分布之外的数据，从而实现可靠的模式分类检测。我们的方法不需要输入预处理或特定的数据预调优，通过修改全连接层之前的批归一化和 ReLU 层，减小它们对输出特征分布的影响，扩大了 ID 和 OOD 数据特征之间的分布差距，并在多个基准数据集上进行了广泛实验，展示出最先进的性能。
out-of-distribution detectionhigh-dimensional featuresdimensionality reductioncosinesstate-of-the-art performance
发现论文，激发创造
  • 利用子空间技术和特征的概率建模进行样本外检测

    本文提出了一种基于降维增强深度神经网络（DNN）的离群检测方法：通过对高维特征进行线性与非线性降维，得到更真实的特征嵌入子空间，利用其计算分布学习和特征重构误差有效地检测不在分布内的样本，实验结果表明其效果优于一些已有方法。

    Dec, 2020

  • 通过白化线性判别分析进行深度神经网络未知数据检测

    本研究提出了一种新的特征空间离群点检测算法，使用去白线性判别分析将特征投影到判别子空间和残差子空间中，并结合两个子空间中输入数据与内部分布偏差的大小确定离群点得分，证明了该算法在大规模数据集上的优越性及其对深度分类器的有效性，并在具有对比目标训练的表示空间中更有效地检测新概念。

    Mar, 2023

  • 基于神经坍缩的特征分离追求外域检测

    本文通过神经坍缩（Neural Collapse）的特性来界定问题，并提出了一种称为 OrthLoss 的简单而有效的损失函数，将 OOD 数据的特征束缚在与 ID 特征的主要子空间正交的一个子空间中，从而通过不同的维度分离 ID 和 OOD 样本的特征。通过优化特征分离损失，而不是仅仅扩大输出差异，我们的检测在 CIFAR 基准上达到了 SOTA 性能，无需任何额外的数据增强或采样，证明了 OOD 检测中特征分离的重要性。

    May, 2024

  • 使用早期层输出在深度神经网络中检测超范围输入

    本研究提出了一种新的的基于输出层的单类分类器方法用于检测深层分类器中的异常值输入，该方法无需访问 OOD 样本且在低维和高维数据集上表现出优异的性能指标。

    Oct, 2019

  • 通过神经崩溃的视角检测超出分布范围

    基于 Neural Collapse 观察的特征向量相似度，我们提出了一种高度灵活的 Neural Collapse inspired OOD 检测器（NC-OOD），通过利用 ID 特征聚类性和 OOD 特征与原点的距离性，显著提高了现有工作的泛化能力，同时在不同分类任务、训练损失和模型架构的广泛实验中，始终实现了最新的 OOD 检测性能。

    Nov, 2023

  • 如何解决超出分布检测的维度诅咒？

    机器学习模型在野外部署时可能会受到未知类别的离群数据的挑战。最近对 OOD 检测的进展依赖于距离度量，以区分相对于内部分布数据而言相对较远的样本。尽管有前景，但基于距离的方法可能受到维度灾难问题的困扰，从而限制了在高维特征空间中的功效。为解决这个问题，我们提出了一种新颖的框架 Subspace Nearest Neighbor（SNN）用于 OOD 检测。在训练中，我们的方法通过利用最相关的子维度（即子空间）来规范化模型及其特征表示。子空间学习产生了 ID 和 OOD 数据之间高度可区分的距离度量。我们提供了全面的实验证明 SNN 的有效性。与当前最佳的基于距离的方法相比，SNN 在 CIFAR-100 基准测试中将平均 FPR95 降低了 15.96%。

    Dec, 2023

  • 梯度正则化的离群样本检测

    利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

    Apr, 2024

  • OOD 感知的有监督对比学习

    使用 SupCon 训练从训练分布中识别外分布样本是机器学习模型安全部署中的重要问题。我们在这项工作中运用强大的 SupCon 学习表征，并提出了一种全面的方法来学习对 OOD 数据稳健的分类器。我们通过增加两个对比项来扩展 SupCon 损失，第一个项将辅助 OOD 表征与 ID 表征分开，而不对辅助数据的相似性产生任何约束。第二个项将 OOD 特征远离现有类原型，并将 ID 表征推近其对应的类原型。当辅助 OOD 数据不可用时，我们提出了特征混合技术来高效生成伪 OOD 特征。我们的解决方案简单高效，作为闭集监督对比表征学习的自然扩展。我们在常见基准测试中与不同的 OOD 检测方法进行了比较，并展示了最先进的结果。

    Oct, 2023

  • 深度最近邻实现的超范围检测

    本文研究使用非参数最近邻距离方法进行开放世界中一类重要任务：Out-of-distribution 检测，不同于先前的研究，该方法不施加任何分布假设，因此具有更强的灵活性和普适性，在多个基准测试中证明了其有效性，并且相对强基线的 Mahalanobis 距离方法，显著降低了 24.77% 误报率 (FPR@TPR95)。

    Apr, 2022

  • 利用重要神经元进行线外检测 (LINe)

    提出了一种新的基于神经元分析的方法，Leveraging Important Neurons (LINe)，通过使用 Shapley 值剪枝和激活截断等方法实现后置 OOD 检测。在 CIFAR-10，CIFAR-100 和 ImageNet 测试数据上，该方法表现出比其他现有后置 OOD 检测方法更高的有效性。

    Mar, 2023