ICCVOct, 2023

理解特征规范用于离群检测

PDF
TL;DR研究发现，神经网络在训练分类数据集时，隐藏层特征的向量范数对于属于分布内的样本通常更高，而对于分布外的未知样本较低。解析神经网络中的中间层所隐藏的判别结构后，发现特征范数是网络层中的分类器隐藏的置信值，特征范数是一种类不可知的，可以检测各种判别模型下分布外样本的方法。然而传统的特征范数无法捕捉到隐藏层神经元的去激活倾向，可能会将分布内样本误识别为分布外实例。为了解决这个问题，提出了一种新的负向感知范数 (NAN)，能够捕捉到隐藏层神经元的激活和去激活倾向。在 NAN 上进行了广泛的实验，证明了它的效果和与现有分布外检测器的兼容性，以及在无标签环境中的能力。
neural networkhidden layer featuresin-distributionout-of-distributionnegative-aware norm
发现论文，激发创造
  • 利用特征规范进行异常检测的块选择方法

    本研究提出了一种简单的框架，其中通过使用特征图的范数和范数比率测量每个块的 OOD 检测性能，并使用拼图图像作为伪 OOD, 来选择提供最大区别的块，并展示了我们的框架可以泛化到各种体系结构并提高先前的 OOD 检测方法的性能。

    Dec, 2022

  • 神经均值差异用于高效的超出分布检测

    通过研究模型激活平均值的变化，提出了新的用于检测异常数据的神经平均差异 (Neural Mean Discrepancy) 指标，并基于此提出了一种高效的异常数据检测器，计算神经平均值的方法不受限于原始输入数据的增量或分布的不同而性能出色。

    Apr, 2021

  • T2FNorm：用于 OOD 检测的极其简单的缩放训练期特征归一化

    通过引入 T2FNorm 方法，在保持神经网络准确度的情况下，显著提高了进行 Out-of-Distribution 检测的精度，并有助于解决神经网络的过度自信问题。

    May, 2023

  • 神经元激活覆盖度：重新审视区分与泛化

    本文提出了一种神经元激活覆盖度（NAC）概念，并通过研究神经元行为以区分 InD 和 OOD 数据，打破了 ResNet-50 FPR95 记录并提出了 NAC 标准以评估模型健壮性。

    Jun, 2023

  • 通过神经崩溃的视角检测超出分布范围

    基于 Neural Collapse 观察的特征向量相似度，我们提出了一种高度灵活的 Neural Collapse inspired OOD 检测器（NC-OOD），通过利用 ID 特征聚类性和 OOD 特征与原点的距离性，显著提高了现有工作的泛化能力，同时在不同分类任务、训练损失和模型架构的广泛实验中，始终实现了最新的 OOD 检测性能。

    Nov, 2023

  • 简单高质量带 L2 归一化的 OOD 检测

    本文针对 ResNet 结构进行 L2 正则化改进，在测试时移除 L2 正则化后，特征向量的 L2 范数成为了网络不确定性的良好指标。

    Jun, 2023

  • 基于最后卷积层输出的高维特征子空间投影的异常检测

    这篇论文集中在最后的卷积层输出的高维特征上，通过将这些高维特征投影到两个具体的特征子空间，借助网络的线性层的降维能力来识别产生在训练分布之外的数据，从而实现可靠的模式分类检测。我们的方法不需要输入预处理或特定的数据预调优，通过修改全连接层之前的批归一化和 ReLU 层，减小它们对输出特征分布的影响，扩大了 ID 和 OOD 数据特征之间的分布差距，并在多个基准数据集上进行了广泛实验，展示出最先进的性能。

    May, 2024

  • 探测野外分布移变的梯度重要性

    本文提出了一种名为 GradNorm 的基于梯度空间的方法，通过利用从梯度空间提取的信息来检测异常数据，可以降低平均误警率（FPR95）高达 16.33％，相对于现有最佳方法效果更好。

    Oct, 2021

  • 基于神经坍缩的特征分离追求外域检测

    本文通过神经坍缩（Neural Collapse）的特性来界定问题，并提出了一种称为 OrthLoss 的简单而有效的损失函数，将 OOD 数据的特征束缚在与 ID 特征的主要子空间正交的一个子空间中，从而通过不同的维度分离 ID 和 OOD 样本的特征。通过优化特征分离损失，而不是仅仅扩大输出差异，我们的检测在 CIFAR 基准上达到了 SOTA 性能，无需任何额外的数据增强或采样，证明了 OOD 检测中特征分离的重要性。

    May, 2024

  • 基于分类器头部信息的特征遮蔽和基于原型的对数平滑方法用于异常检测

    提出了一种基于特征屏蔽和对数平滑的后处理 OOD 检测方法，通过减小 OOD 数据的特征激活和增加 ID 与 OOD 数据之间的差距，缓解了神经网络对 OOD 数据的过度自信性预测，并在多个标准 OOD 检测基准上证明了该方法的有效性和兼容性，取得了新的最先进性能。

    Oct, 2023