HAct: 基于神经网络激活值直方图的离域检测

Sep, 2023

HAct: 基于神经网络激活值直方图的离域检测

HAct: Out-of-Distribution Detection with Neural Net Activation Histograms

Sudeepta Mondal, Ganesh Sundaramoorthi

TL;DR我们提出了一种简单、高效、准确的方法，用于检测经过训练的神经网络中的离群分布数据，这是离群分布泛化方法的潜在第一步。我们提出了一种新颖的描述符，HAct - 激活直方图，用于离群分布检测，即神经网络层输出值的概率分布（通过直方图表示）受到传入数据的影响。我们证明了 HAct 在多个离群图像分类基准测试中比最先进的方法要准确得多。例如，我们的方法使用 Resnet-50 在标准的离群分布基准测试中仅使用 0.05％的误报率实现了 95％的真阳性率（TPR），比之前的最先进方法在相同的 TPR（95％）下的误报率高出 20.66％。HAct 具有低计算复杂度和易于实施的特点，非常适合在实践中对部署的神经网络进行在线监控。

Abstract

We propose a simple, efficient, and accurate method for detecting out-of-distribution (OOD) data for trained neural networks, a potential first step in methods for OOD generalization. We propose a novel descriptor, HAct - →

out-of-distribution data neural networks ood detection activation histograms false positive rate

发现论文，激发创造

ReAct: 使用修正激活进行超范围检测

本研究提出了一种名为 ReAct 的简单而有效的技术，用于减少神经网络在 out-of-distribution 数据上的过度自信，并在多个基准数据集上进行了实证展示，证明 ReAct 相较于此前最佳方法可以将误报率 (FPR95) 降低 25.05%。

Nov, 2021

神经元激活覆盖度：重新审视区分与泛化

本文提出了一种神经元激活覆盖度（NAC）概念，并通过研究神经元行为以区分 InD 和 OOD 数据，打破了 ResNet-50 FPR95 记录并提出了 NAC 标准以评估模型健壮性。

Jun, 2023

通过数据纯化和动态激活函数设计推进离群检测

通过改进神经网络中 OOD 样本的检测和管理，我们引入了含有噪声滤波技术的 OOD-R 数据集，提高了数据质量和模型准确性，针对模型的过度自信问题，我们还提出了一种创新方法 ActFun 来改善特征提取的稳定性和减小特异性问题，从而更准确地估计 OOD 不确定性。

Mar, 2024

利用神经激活先验的异常检测

基于神经激活先验的针对超出分布检测的方法，利用神经网络的前全局池化层之前的通道的激活概率差异来提取与 ID 样本和 OOD 样本的相关特征，并提出了一种新的评分函数用于强调这些强激活的神经元在超出分布检测中的作用，该方法能够与现有方法有效地结合，实验结果表明其在多个数据集上达到了最先进的性能。

Feb, 2024

通过捕捉极端激活来减轻对于外部分布检测中的过度自信

通过测量神经网络次最后一层的极端激活值并利用这一特征改进各种 OOD 检测基线，我们解决了模型 “过度自信” 现象造成的 OOD 检测问题，在各类实验中得到了显著提升，不损害任何场景的性能。

May, 2024

神经均值差异用于高效的超出分布检测

通过研究模型激活平均值的变化，提出了新的用于检测异常数据的神经平均差异 (Neural Mean Discrepancy) 指标，并基于此提出了一种高效的异常数据检测器，计算神经平均值的方法不受限于原始输入数据的增量或分布的不同而性能出色。

Apr, 2021

利用神经元激活模式检测脱离分布的对象

我们的研究致力于目标检测领域的超出分布样本检测，引入了神经元激活模式，结果表明我们的方法优于现有方法，而不会影响分布样本检测性能，同时创建了最大的开源基准。

Jul, 2023

训练时间和事后溯源识别增强的规模化

近期的研究中，我们提供了有关最新的超出分布（OOD）检测方法 - 极简激活塑形（ASH）的见解和分析。我们证明了激活修剪对 OOD 检测有着不良影响，而激活缩放则增强了 OOD 检测效果。此外，我们提出了 SCALE，一种简单而有效的后期网络增强方法，同时达到了最先进的 OOD 检测性能和不降低分布准确性。通过将缩放概念融入训练过程以捕捉样本的分布特征，我们提出了一种轻量级训练时间 OOD 检测增强方法 - 中间张量塑形（ISH）。在 OpenOOD v1.5 ImageNet-1K 基准测试中，我们取得了近 OOD 数据集 + 1.85％的 AUROC 分数和远 OOD 数据集 + 0.74％的 AUROC 分数。我们的代码和模型可以在此 https URL 找到。

Sep, 2023

利用重要神经元进行线外检测 (LINe)

提出了一种新的基于神经元分析的方法，Leveraging Important Neurons (LINe)，通过使用 Shapley 值剪枝和激活截断等方法实现后置 OOD 检测。在 CIFAR-10，CIFAR-100 和 ImageNet 测试数据上，该方法表现出比其他现有后置 OOD 检测方法更高的有效性。

Mar, 2023

利用内部数据和 Gram 矩阵检测非分布数据示例

本文介绍了一种基于 Gram 矩阵的方法，可用于检测深度神经网络中的 Out-of-Distribution 异常案例，结合对于训练数据范围内对比每个值，其值与范围的关系进行的异常检测，无需访问 OOD 数据进行超参数微调，并可适用于任何预训练的 softmax 分类器，对于检测远离分布的 Out-of-Distribution 案例，该方法通常表现优于或等于现有的 OOD 检测方法。

Dec, 2019