基于分类器头部信息的特征遮蔽和基于原型的对数平滑方法用于异常检测

Oct, 2023

基于分类器头部信息的特征遮蔽和基于原型的对数平滑方法用于异常检测

Classifier-head Informed Feature Masking and Prototype-based Logit Smoothing for Out-of-Distribution Detection

Zhuohao Sun, Yiqiao Qiu, Zhijun Tan, Weishi Zheng, Ruixuan Wang

TL;DR提出了一种基于特征屏蔽和对数平滑的后处理 OOD 检测方法，通过减小 OOD 数据的特征激活和增加 ID 与 OOD 数据之间的差距，缓解了神经网络对 OOD 数据的过度自信性预测，并在多个标准 OOD 检测基准上证明了该方法的有效性和兼容性，取得了新的最先进性能。

Abstract

Out-of-distribution (OOD) detection is essential when deploying neural networks in the real world. One main challenge is that neural networks often make overconfident predictions on ood data. In this study, we pr

out-of-distribution detection neural networks feature masking logit smoothing ood data

发现论文，激发创造

全面的 OOD 检测改进

机器学习中，识别推理数据是否超出模型的预期输入分布对于给出预测的上下文至关重要。我们的研究针对基于表示或基于逻辑方法的超出分布检测方法，并提出了用于特征嵌入降维的表示方法和解决了一个问题的基于逻辑方法。我们在 OpenOODv1.5 基准框架上验证了我们方法的有效性，结果显示性能显著提升，并达到了最新的技术水平。

Jan, 2024

重新思考外域（OOD）检测：掩模图像建模就是您所需的一切

本文提出利用基于重建的先验任务构建的模型，用于检测 OOD，并通过 Masked Image Modeling 预训练，取得了比先前 SOTA 更好的表现，包括单类 OOD 检测高出 5.7％，多类 OOD 检测高出 3.0％，近分布 OOD 检测高出 2.1％。

Feb, 2023

释放掩码：探索内在的外部分布检测能力

本文提出了一种新的方法 ——Unleashing Mask，该方法使用掩模找出受记忆的非典型样本，并通过微调或修剪模型来忘记它们，从而恢复所训练模型的 OOD 鉴别能力。

Jun, 2023

扩散去噪平滑在认证和对抗鲁棒的 ODD 检测中的应用

研究机器学习中如何确定训练分布和 ODD（Out-Of-Distribution）样本的检测机制，提出了一种基于 l2 范数的无需特定组件或训练的 ODD 鲁棒性证明的新方法以及改进了检测 ODD 攻击技巧的现有技术，在 CIFAR10 / 100 平均 OOD 检测度量方面相对于之前的方法有约 13％/ 5％的提高，并在分布内样本上提供高水平的认证和敌对鲁棒性。

Mar, 2023

ViM：采用虚拟对数匹配进行离分布

本研究旨在解决已有的 OutOfDistribution（OOD）检测算法在面对 OOD 的多样性时，容易出现一定程度的脆弱性问题。因此，我们提出了一种名为 Virtual-logit Matching（ViM）的新型 OOD 评分方法，它能够结合来自特征空间的分类无关分数和 In-Distribution（ID）类相关对数。我们为 ImageNet-1K 创建了一个新的 OOD 数据集，该数据集是人类注释的，大小为现有数据集的 8.8 倍。经过广泛的实验证明，我们的方法在四个难以检测的 OOD 基准测试中获得了优异的表现，特别是使用 BiT-S 模型，我们的方法在平均 AUROC 方面超越了最佳基线，达到了 90.91％。

Mar, 2022

一种简单的测试时间方法用于识别非分布检测

本文提出了一种基于线性回归的测试时间训练方法，将输入图像的特征与其推断出的异常检测 (OOD) 分数进行配对，并在实现更精确的 OOD 检测上取得了很好的效果。

Jul, 2022

梯度正则化的离群样本检测

利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

Apr, 2024

利用重要神经元进行线外检测 (LINe)

提出了一种新的基于神经元分析的方法，Leveraging Important Neurons (LINe)，通过使用 Shapley 值剪枝和激活截断等方法实现后置 OOD 检测。在 CIFAR-10，CIFAR-100 和 ImageNet 测试数据上，该方法表现出比其他现有后置 OOD 检测方法更高的有效性。

Mar, 2023

基于最后卷积层输出的高维特征子空间投影的异常检测

这篇论文集中在最后的卷积层输出的高维特征上，通过将这些高维特征投影到两个具体的特征子空间，借助网络的线性层的降维能力来识别产生在训练分布之外的数据，从而实现可靠的模式分类检测。我们的方法不需要输入预处理或特定的数据预调优，通过修改全连接层之前的批归一化和 ReLU 层，减小它们对输出特征分布的影响，扩大了 ID 和 OOD 数据特征之间的分布差距，并在多个基准数据集上进行了广泛实验，展示出最先进的性能。

May, 2024

多原型联合学习用于外部分布检测

基于原型混合的 PALM 模型通过多个原型来捕捉样本的多样性，学习更加准确和紧凑的样本嵌入以增强 OOD 检测性能，取得了 93.82 的 CIFAR-100 基准任务的最先进结果。

Feb, 2024