EPA：基于神经崩溃的鲁棒的外部分布检测器

Jan, 2024

EPA：基于神经崩溃的鲁棒的外部分布检测器

EPA: Neural Collapse Inspired Robust Out-of-Distribution Detector

Jiawei Zhang, Yufan Chen, Cheng Jin, Lei Zhu, Yuantao Gu

TL;DR基于对 ID 子空间特征及其内在属性的全局特征的综合研究，本文提出一种新型 NC（Neural Collapse）启发的 OOD 评分函数 EPA（Entropy-enhanced Principal Angle），通过将主要的角度与 ID 特征子空间之间的观察整合，实现对 OOD 可能性的有效测量，并通过与其他 SOTA 方法的实验比较证实了其在不同网络架构和 OOD 数据集上的卓越性能和鲁棒性。

Abstract

Out-of-distribution (OOD) detection plays a crucial role in ensuring the security of neural networks. Existing works have leveraged the fact that In-distribution (ID) samples form a subspace in the feature space, achieving state-of-the-art (SOTA) performance. However, the comprehensive

out-of-distribution detection neural networks principal angle neural collapse ood scoring function

发现论文，激发创造

基于神经坍缩的特征分离追求外域检测

本文通过神经坍缩（Neural Collapse）的特性来界定问题，并提出了一种称为 OrthLoss 的简单而有效的损失函数，将 OOD 数据的特征束缚在与 ID 特征的主要子空间正交的一个子空间中，从而通过不同的维度分离 ID 和 OOD 样本的特征。通过优化特征分离损失，而不是仅仅扩大输出差异，我们的检测在 CIFAR 基准上达到了 SOTA 性能，无需任何额外的数据增强或采样，证明了 OOD 检测中特征分离的重要性。

May, 2024

通过神经崩溃的视角检测超出分布范围

基于 Neural Collapse 观察的特征向量相似度，我们提出了一种高度灵活的 Neural Collapse inspired OOD 检测器（NC-OOD），通过利用 ID 特征聚类性和 OOD 特征与原点的距离性，显著提高了现有工作的泛化能力，同时在不同分类任务、训练损失和模型架构的广泛实验中，始终实现了最新的 OOD 检测性能。

Nov, 2023

NECO：基于神经崩溃的异常检测

我们介绍了 NECO，一种基于神经元崩溃和主成分空间几何特性的后处理方法，用于检测异常数据。我们的实验结果显示 NECO 在小规模和大规模异常数据检测任务上都达到了最先进的效果，且在不同网络结构上具有强大的泛化能力。

Oct, 2023

基于最后卷积层输出的高维特征子空间投影的异常检测

这篇论文集中在最后的卷积层输出的高维特征上，通过将这些高维特征投影到两个具体的特征子空间，借助网络的线性层的降维能力来识别产生在训练分布之外的数据，从而实现可靠的模式分类检测。我们的方法不需要输入预处理或特定的数据预调优，通过修改全连接层之前的批归一化和 ReLU 层，减小它们对输出特征分布的影响，扩大了 ID 和 OOD 数据特征之间的分布差距，并在多个基准数据集上进行了广泛实验，展示出最先进的性能。

May, 2024

利用子空间技术和特征的概率建模进行样本外检测

本文提出了一种基于降维增强深度神经网络（DNN）的离群检测方法：通过对高维特征进行线性与非线性降维，得到更真实的特征嵌入子空间，利用其计算分布学习和特征重构误差有效地检测不在分布内的样本，实验结果表明其效果优于一些已有方法。

Dec, 2020

一个用于数据质量保证中的离群检测的新的统计度量

使用深度学习技术进行特征表示，并开发一种新的统计测量方法进行 OOD 检测。研究通过与其他常见统计测量方法进行比较分析，验证了研究在 OOD 和 AIQM 研究中的可行性和有效性。

Oct, 2023

通过白化线性判别分析进行深度神经网络未知数据检测

本研究提出了一种新的特征空间离群点检测算法，使用去白线性判别分析将特征投影到判别子空间和残差子空间中，并结合两个子空间中输入数据与内部分布偏差的大小确定离群点得分，证明了该算法在大规模数据集上的优越性及其对深度分类器的有效性，并在具有对比目标训练的表示空间中更有效地检测新概念。

Mar, 2023

神经元激活覆盖度：重新审视区分与泛化

本文提出了一种神经元激活覆盖度（NAC）概念，并通过研究神经元行为以区分 InD 和 OOD 数据，打破了 ResNet-50 FPR95 记录并提出了 NAC 标准以评估模型健壮性。

Jun, 2023

用于异常检测的核主成分分析

利用核主成分分析（KPCA）框架进行异常数据检测，通过非线性核映射来提高内分布和外分布特征的分离性能，实验证明其在效率和性能方面优于现有的最先进的异常数据检测方法。

Feb, 2024

OOD 感知的有监督对比学习

使用 SupCon 训练从训练分布中识别外分布样本是机器学习模型安全部署中的重要问题。我们在这项工作中运用强大的 SupCon 学习表征，并提出了一种全面的方法来学习对 OOD 数据稳健的分类器。我们通过增加两个对比项来扩展 SupCon 损失，第一个项将辅助 OOD 表征与 ID 表征分开，而不对辅助数据的相似性产生任何约束。第二个项将 OOD 特征远离现有类原型，并将 ID 表征推近其对应的类原型。当辅助 OOD 数据不可用时，我们提出了特征混合技术来高效生成伪 OOD 特征。我们的解决方案简单高效，作为闭集监督对比表征学习的自然扩展。我们在常见基准测试中与不同的 OOD 检测方法进行了比较，并展示了最先进的结果。

Oct, 2023