简单高质量带 L2 归一化的 OOD 检测

Jun, 2023

简单高质量带 L2 归一化的 OOD 检测

Simple High Quality OoD Detection with L2 Normalization

Jarrod Haas, William Yolland, Bernhard Rabus

TL;DR本文针对 ResNet 结构进行 L2 正则化改进，在测试时移除 L2 正则化后，特征向量的 L2 范数成为了网络不确定性的良好指标。

Abstract

We propose a simple modification to standard resnet architectures during training--l2 normalization over feature space--that produces results competitive with state-of-the-art Out-of-Distribution (OoD) detection

resnet architectures l2 normalization out-of-distribution detection feature vectors network uncertainty

发现论文，激发创造

一种简单的测试时间方法用于识别非分布检测

本文提出了一种基于线性回归的测试时间训练方法，将输入图像的特征与其推断出的异常检测 (OOD) 分数进行配对，并在实现更精确的 OOD 检测上取得了很好的效果。

Jul, 2022

回归基础：重新审视离分布检测基线

研究了使用已经训练好的神经网络分类器进行图像识别的方法，提出了一种基于分析神经网络映射空间的简单有效的方法对不在分布范围内的图像进行检测识别，成功提高了识别的准确率。

Jul, 2022

T2FNorm：用于 OOD 检测的极其简单的缩放训练期特征归一化

通过引入 T2FNorm 方法，在保持神经网络准确度的情况下，显著提高了进行 Out-of-Distribution 检测的精度，并有助于解决神经网络的过度自信问题。

May, 2023

理解特征规范用于离群检测

研究发现，神经网络在训练分类数据集时，隐藏层特征的向量范数对于属于分布内的样本通常更高，而对于分布外的未知样本较低。解析神经网络中的中间层所隐藏的判别结构后，发现特征范数是网络层中的分类器隐藏的置信值，特征范数是一种类不可知的，可以检测各种判别模型下分布外样本的方法。然而传统的特征范数无法捕捉到隐藏层神经元的去激活倾向，可能会将分布内样本误识别为分布外实例。为了解决这个问题，提出了一种新的负向感知范数 (NAN)，能够捕捉到隐藏层神经元的激活和去激活倾向。在 NAN 上进行了广泛的实验，证明了它的效果和与现有分布外检测器的兼容性，以及在无标签环境中的能力。

Oct, 2023

基于最后卷积层输出的高维特征子空间投影的异常检测

这篇论文集中在最后的卷积层输出的高维特征上，通过将这些高维特征投影到两个具体的特征子空间，借助网络的线性层的降维能力来识别产生在训练分布之外的数据，从而实现可靠的模式分类检测。我们的方法不需要输入预处理或特定的数据预调优，通过修改全连接层之前的批归一化和 ReLU 层，减小它们对输出特征分布的影响，扩大了 ID 和 OOD 数据特征之间的分布差距，并在多个基准数据集上进行了广泛实验，展示出最先进的性能。

May, 2024

利用特征规范进行异常检测的块选择方法

本研究提出了一种简单的框架，其中通过使用特征图的范数和范数比率测量每个块的 OOD 检测性能，并使用拼图图像作为伪 OOD, 来选择提供最大区别的块，并展示了我们的框架可以泛化到各种体系结构并提高先前的 OOD 检测方法的性能。

Dec, 2022

基于归一化流的特征密度估计用于异常检测

基于特征密度估计和正态流的无监督型外分布检测方法可应用于任意预训练模型，通过密度阈值实现检测，并在图像分类中表现出强大的远外分布数据检测结果，包括 ImageNet-1k 与纹理的 98.2% AUROC，超过现有技术 7.8%。我们还探讨了预训练模型的特征空间分布与我们方法性能之间的关联，并提供了应用正态流用于外分布检测时的训练陷阱。

Feb, 2024

通用 ODIN: 无需在外部数据集中学习即可检测出分布外图像

本篇论文提出了两种方法，用于加强 ODIN 检测方法在不需经过 out-of-distribution 数据训练或调整的情况下的性能表现，这两种方法包括对置信度打分的分解以及对输入数据的改进预处理。文章还对两种分布偏移（语义偏移和非语义偏移）的问题上，展开了深入细致的分析。

Feb, 2020

SupEuclid: 用监督对比学习和欧几里得距离实现极其简单、高质量的非样本外检测

使用 ResNet18 结合监督对比学习 (Supervised Contrastive Learning)，通过欧几里得距离作为评分规则，得到了针对近程和远程 Out-of-Distribution 检测基准的开箱即用的最先进结果，这可能消除了在某些情况下对更复杂方法或更大模型的需求，并且至少提供了一个非常强大且易于使用的基线供进一步实验和分析。

Aug, 2023

对比表示学习中的正则化及外域检测的理解

对比度表示学习已经成为异常检测的一种杰出方法，本文通过探索对比特征的 l2 - 范数及其在超出分布检测中的应用，提出了一种简单的基于对比学习的方法，通过在对比层空间对正常样本进行抵制，来将超出分布的数据纳入模型中。我们的方法可以灵活地作为异常暴露（OE）方法应用，其中超出分布的数据是随机图像的大集合，或者作为完全自监督学习方法应用，其中超出分布的数据是通过应用分布变换自动生成的。我们的方法能够灵活地处理那些对比度学习基于异常检测方法普遍表现不佳的数据集，例如航空影像或显微镜影像。此外，通过对比度学习学习到的高质量特征在 OE 场景中始终提高性能，即使可用的超出分布数据集不够多样化。通过大量实验证明了我们所提方法在各种场景下的优越性，包括单一模态和多模态设置，以及各种图像数据集。

Dec, 2023