研究发现，神经网络在训练分类数据集时，隐藏层特征的向量范数对于属于分布内的样本通常更高，而对于分布外的未知样本较低。解析神经网络中的中间层所隐藏的判别结构后，发现特征范数是网络层中的分类器隐藏的置信值，特征范数是一种类不可知的，可以检测各种判别模型下分布外样本的方法。然而传统的特征范数无法捕捉到隐藏层神经元的去激活倾向，可能会将分布内样本误识别为分布外实例。为了解决这个问题，提出了一种新的负向感知范数 (NAN)，能够捕捉到隐藏层神经元的激活和去激活倾向。在 NAN 上进行了广泛的实验，证明了它的效果和与现有分布外检测器的兼容性，以及在无标签环境中的能力。

Oct, 2023

基于特征密度估计和正态流的无监督型外分布检测方法可应用于任意预训练模型，通过密度阈值实现检测，并在图像分类中表现出强大的远外分布数据检测结果，包括 ImageNet-1k 与纹理的 98.2% AUROC，超过现有技术 7.8%。我们还探讨了预训练模型的特征空间分布与我们方法性能之间的关联，并提供了应用正态流用于外分布检测时的训练陷阱。

Feb, 2024

本文针对 ResNet 结构进行 L2 正则化改进，在测试时移除 L2 正则化后，特征向量的 L2 范数成为了网络不确定性的良好指标。

Jun, 2023

这篇论文集中在最后的卷积层输出的高维特征上，通过将这些高维特征投影到两个具体的特征子空间，借助网络的线性层的降维能力来识别产生在训练分布之外的数据，从而实现可靠的模式分类检测。我们的方法不需要输入预处理或特定的数据预调优，通过修改全连接层之前的批归一化和 ReLU 层，减小它们对输出特征分布的影响，扩大了 ID 和 OOD 数据特征之间的分布差距，并在多个基准数据集上进行了广泛实验，展示出最先进的性能。

May, 2024

通过引入 T2FNorm 方法，在保持神经网络准确度的情况下，显著提高了进行 Out-of-Distribution 检测的精度，并有助于解决神经网络的过度自信问题。

May, 2023

本文通过神经坍缩（Neural Collapse）的特性来界定问题，并提出了一种称为 OrthLoss 的简单而有效的损失函数，将 OOD 数据的特征束缚在与 ID 特征的主要子空间正交的一个子空间中，从而通过不同的维度分离 ID 和 OOD 样本的特征。通过优化特征分离损失，而不是仅仅扩大输出差异，我们的检测在 CIFAR 基准上达到了 SOTA 性能，无需任何额外的数据增强或采样，证明了 OOD 检测中特征分离的重要性。

May, 2024

本文提出了一种基于线性回归的测试时间训练方法，将输入图像的特征与其推断出的异常检测 (OOD) 分数进行配对，并在实现更精确的 OOD 检测上取得了很好的效果。

Jul, 2022

利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

Apr, 2024

本文研究使用非参数最近邻距离方法进行开放世界中一类重要任务：Out-of-distribution 检测，不同于先前的研究，该方法不施加任何分布假设，因此具有更强的灵活性和普适性，在多个基准测试中证明了其有效性，并且相对强基线的 Mahalanobis 距离方法，显著降低了 24.77% 误报率 (FPR@TPR95)。

Apr, 2022

提出了一种新的基于神经元分析的方法，Leveraging Important Neurons (LINe)，通过使用 Shapley 值剪枝和激活截断等方法实现后置 OOD 检测。在 CIFAR-10，CIFAR-100 和 ImageNet 测试数据上，该方法表现出比其他现有后置 OOD 检测方法更高的有效性。

Mar, 2023