基于神经坍缩的特征分离追求外域检测

May, 2024

基于神经坍缩的特征分离追求外域检测

Pursuing Feature Separation based on Neural Collapse for Out-of-Distribution Detection

Yingwen Wu, Ruiji Yu, Xinwen Cheng, Zhengbao He, Xiaolin Huang

TL;DR本文通过神经坍缩（Neural Collapse）的特性来界定问题，并提出了一种称为 OrthLoss 的简单而有效的损失函数，将 OOD 数据的特征束缚在与 ID 特征的主要子空间正交的一个子空间中，从而通过不同的维度分离 ID 和 OOD 样本的特征。通过优化特征分离损失，而不是仅仅扩大输出差异，我们的检测在 CIFAR 基准上达到了 SOTA 性能，无需任何额外的数据增强或采样，证明了 OOD 检测中特征分离的重要性。

Abstract

In the open world, detecting out-of-distribution (OOD) data, whose labels are disjoint with those of in-distribution (ID) samples, is important for reliable deep neural networks (DNNs). To achieve better detection performance, one type of approach proposes to fine-tune the model with a

out-of-distribution data deep neural networks neural collapse orthloss feature separation

发现论文，激发创造

通过神经崩溃的视角检测超出分布范围

基于 Neural Collapse 观察的特征向量相似度，我们提出了一种高度灵活的 Neural Collapse inspired OOD 检测器（NC-OOD），通过利用 ID 特征聚类性和 OOD 特征与原点的距离性，显著提高了现有工作的泛化能力，同时在不同分类任务、训练损失和模型架构的广泛实验中，始终实现了最新的 OOD 检测性能。

Nov, 2023

EPA：基于神经崩溃的鲁棒的外部分布检测器

基于对 ID 子空间特征及其内在属性的全局特征的综合研究，本文提出一种新型 NC（Neural Collapse）启发的 OOD 评分函数 EPA（Entropy-enhanced Principal Angle），通过将主要的角度与 ID 特征子空间之间的观察整合，实现对 OOD 可能性的有效测量，并通过与其他 SOTA 方法的实验比较证实了其在不同网络架构和 OOD 数据集上的卓越性能和鲁棒性。

Jan, 2024

基于最后卷积层输出的高维特征子空间投影的异常检测

这篇论文集中在最后的卷积层输出的高维特征上，通过将这些高维特征投影到两个具体的特征子空间，借助网络的线性层的降维能力来识别产生在训练分布之外的数据，从而实现可靠的模式分类检测。我们的方法不需要输入预处理或特定的数据预调优，通过修改全连接层之前的批归一化和 ReLU 层，减小它们对输出特征分布的影响，扩大了 ID 和 OOD 数据特征之间的分布差距，并在多个基准数据集上进行了广泛实验，展示出最先进的性能。

May, 2024

NECO：基于神经崩溃的异常检测

我们介绍了 NECO，一种基于神经元崩溃和主成分空间几何特性的后处理方法，用于检测异常数据。我们的实验结果显示 NECO 在小规模和大规模异常数据检测任务上都达到了最先进的效果，且在不同网络结构上具有强大的泛化能力。

Oct, 2023

利用子空间技术和特征的概率建模进行样本外检测

本文提出了一种基于降维增强深度神经网络（DNN）的离群检测方法：通过对高维特征进行线性与非线性降维，得到更真实的特征嵌入子空间，利用其计算分布学习和特征重构误差有效地检测不在分布内的样本，实验结果表明其效果优于一些已有方法。

Dec, 2020

通过白化线性判别分析进行深度神经网络未知数据检测

本研究提出了一种新的特征空间离群点检测算法，使用去白线性判别分析将特征投影到判别子空间和残差子空间中，并结合两个子空间中输入数据与内部分布偏差的大小确定离群点得分，证明了该算法在大规模数据集上的优越性及其对深度分类器的有效性，并在具有对比目标训练的表示空间中更有效地检测新概念。

Mar, 2023

OOD 感知的有监督对比学习

使用 SupCon 训练从训练分布中识别外分布样本是机器学习模型安全部署中的重要问题。我们在这项工作中运用强大的 SupCon 学习表征，并提出了一种全面的方法来学习对 OOD 数据稳健的分类器。我们通过增加两个对比项来扩展 SupCon 损失，第一个项将辅助 OOD 表征与 ID 表征分开，而不对辅助数据的相似性产生任何约束。第二个项将 OOD 特征远离现有类原型，并将 ID 表征推近其对应的类原型。当辅助 OOD 数据不可用时，我们提出了特征混合技术来高效生成伪 OOD 特征。我们的解决方案简单高效，作为闭集监督对比表征学习的自然扩展。我们在常见基准测试中与不同的 OOD 检测方法进行了比较，并展示了最先进的结果。

Oct, 2023

深度最近邻实现的超范围检测

本文研究使用非参数最近邻距离方法进行开放世界中一类重要任务：Out-of-distribution 检测，不同于先前的研究，该方法不施加任何分布假设，因此具有更强的灵活性和普适性，在多个基准测试中证明了其有效性，并且相对强基线的 Mahalanobis 距离方法，显著降低了 24.77% 误报率 (FPR@TPR95)。

Apr, 2022

利用重要神经元进行线外检测 (LINe)

提出了一种新的基于神经元分析的方法，Leveraging Important Neurons (LINe)，通过使用 Shapley 值剪枝和激活截断等方法实现后置 OOD 检测。在 CIFAR-10，CIFAR-100 和 ImageNet 测试数据上，该方法表现出比其他现有后置 OOD 检测方法更高的有效性。

Mar, 2023

分类器中的数据分布外检测 via 生成

本文中，我们通过研究生成 “有效” 的 OOD 样本的复杂性，分析了调整之前的方法的可行性。我们提出了一种使用流形学习网络（例如变分自编码器）生成这些样本的新算法，然后训练一个 $n+1$ 分类器来检测 OOD，其中第 $n+1$ 类代表 OOD 样本。我们在 MNIST 和 Fashion-MNIST 数据集上将我们的方法与几种最近的基于分类器的 OOD 检测器进行了比较，实验表明我们的方法总体上表现更好。

Oct, 2019