May, 2023

T2FNorm：用于 OOD 检测的极其简单的缩放训练期特征归一化

PDF
TL;DR通过引入 T2FNorm 方法，在保持神经网络准确度的情况下，显著提高了进行 Out-of-Distribution 检测的精度，并有助于解决神经网络的过度自信问题。
neural networksfeature normalizationood detectiont2fnormoverconfidence
发现论文，激发创造
  • 理解特征规范用于离群检测

    研究发现，神经网络在训练分类数据集时，隐藏层特征的向量范数对于属于分布内的样本通常更高，而对于分布外的未知样本较低。解析神经网络中的中间层所隐藏的判别结构后，发现特征范数是网络层中的分类器隐藏的置信值，特征范数是一种类不可知的，可以检测各种判别模型下分布外样本的方法。然而传统的特征范数无法捕捉到隐藏层神经元的去激活倾向，可能会将分布内样本误识别为分布外实例。为了解决这个问题，提出了一种新的负向感知范数 (NAN)，能够捕捉到隐藏层神经元的激活和去激活倾向。在 NAN 上进行了广泛的实验，证明了它的效果和与现有分布外检测器的兼容性，以及在无标签环境中的能力。

    Oct, 2023

  • 基于归一化流的特征密度估计用于异常检测

    基于特征密度估计和正态流的无监督型外分布检测方法可应用于任意预训练模型，通过密度阈值实现检测，并在图像分类中表现出强大的远外分布数据检测结果，包括 ImageNet-1k 与纹理的 98.2% AUROC，超过现有技术 7.8%。我们还探讨了预训练模型的特征空间分布与我们方法性能之间的关联，并提供了应用正态流用于外分布检测时的训练陷阱。

    Feb, 2024

  • 简单高质量带 L2 归一化的 OOD 检测

    本文针对 ResNet 结构进行 L2 正则化改进，在测试时移除 L2 正则化后，特征向量的 L2 范数成为了网络不确定性的良好指标。

    Jun, 2023

  • 一种简单的测试时间方法用于识别非分布检测

    本文提出了一种基于线性回归的测试时间训练方法，将输入图像的特征与其推断出的异常检测 (OOD) 分数进行配对，并在实现更精确的 OOD 检测上取得了很好的效果。

    Jul, 2022

  • 利用特征规范进行异常检测的块选择方法

    本研究提出了一种简单的框架，其中通过使用特征图的范数和范数比率测量每个块的 OOD 检测性能，并使用拼图图像作为伪 OOD, 来选择提供最大区别的块，并展示了我们的框架可以泛化到各种体系结构并提高先前的 OOD 检测方法的性能。

    Dec, 2022

  • 利用子空间技术和特征的概率建模进行样本外检测

    本文提出了一种基于降维增强深度神经网络（DNN）的离群检测方法：通过对高维特征进行线性与非线性降维，得到更真实的特征嵌入子空间，利用其计算分布学习和特征重构误差有效地检测不在分布内的样本，实验结果表明其效果优于一些已有方法。

    Dec, 2020

  • 深度最近邻实现的超范围检测

    本文研究使用非参数最近邻距离方法进行开放世界中一类重要任务：Out-of-distribution 检测，不同于先前的研究，该方法不施加任何分布假设，因此具有更强的灵活性和普适性，在多个基准测试中证明了其有效性，并且相对强基线的 Mahalanobis 距离方法，显著降低了 24.77% 误报率 (FPR@TPR95)。

    Apr, 2022

  • 机器人学习中用于外部分布检测的拓扑匹配归一化流

    为了在现实世界中实现可靠的自主机器人部署，对 Out-of-Distribution (OOD) 检测能力的需求很高。基于密度估计和归一化流的 OOD 检测是一种有效方法，但之前的工作尝试使用简单的基础分布拓扑地匹配复杂的目标分布，导致了不利的影响。本文通过使用一个具有表达力的类条件基础分布，基于信息论目标来匹配所需的拓扑结构，从而避免了这种拓扑不匹配问题。所提出的方法在不降低性能和最小化计算开销的同时，提高了 OOD 检测能力。我们在密度估计和 2D 对象检测基准测试中，与广泛的基线模型相比，展现了卓越的结果。此外，我们还展示了该方法在实际机器人部署中的适用性。

    Nov, 2023

  • 基于最后卷积层输出的高维特征子空间投影的异常检测

    这篇论文集中在最后的卷积层输出的高维特征上，通过将这些高维特征投影到两个具体的特征子空间，借助网络的线性层的降维能力来识别产生在训练分布之外的数据，从而实现可靠的模式分类检测。我们的方法不需要输入预处理或特定的数据预调优，通过修改全连接层之前的批归一化和 ReLU 层，减小它们对输出特征分布的影响，扩大了 ID 和 OOD 数据特征之间的分布差距，并在多个基准数据集上进行了广泛实验，展示出最先进的性能。

    May, 2024

  • 为何归一化流无法检测到超出分布范围的数据

    本文探讨了正则化流在检测异常数据方面的性能问题，发现正则化流架构具有局部像素相关性和通用图像到潜空间转换的缺陷，并通过修改它的架构，使其更好地适应特定数据语义结构，进而提高检测性能。

    Jun, 2020