Nov, 2021

ReAct: 使用修正激活进行超范围检测

PDF
TL;DR本研究提出了一种名为 ReAct 的简单而有效的技术，用于减少神经网络在 out-of-distribution 数据上的过度自信，并在多个基准数据集上进行了实证展示，证明 ReAct 相较于此前最佳方法可以将误报率 (FPR95) 降低 25.05%。
out-of-distribution detectionneural networksmodel overconfidencereactfalse positive rate
发现论文，激发创造
  • 通过捕捉极端激活来减轻对于外部分布检测中的过度自信

    通过测量神经网络次最后一层的极端激活值并利用这一特征改进各种 OOD 检测基线，我们解决了模型 “过度自信” 现象造成的 OOD 检测问题，在各类实验中得到了显著提升，不损害任何场景的性能。

    May, 2024

  • 通过数据纯化和动态激活函数设计推进离群检测

    通过改进神经网络中 OOD 样本的检测和管理，我们引入了含有噪声滤波技术的 OOD-R 数据集，提高了数据质量和模型准确性，针对模型的过度自信问题，我们还提出了一种创新方法 ActFun 来改善特征提取的稳定性和减小特异性问题，从而更准确地估计 OOD 不确定性。

    Mar, 2024

  • HAct: 基于神经网络激活值直方图的离域检测

    我们提出了一种简单、高效、准确的方法，用于检测经过训练的神经网络中的离群分布数据，这是离群分布泛化方法的潜在第一步。我们提出了一种新颖的描述符，HAct - 激活直方图，用于离群分布检测，即神经网络层输出值的概率分布（通过直方图表示）受到传入数据的影响。我们证明了 HAct 在多个离群图像分类基准测试中比最先进的方法要准确得多。例如，我们的方法使用 Resnet-50 在标准的离群分布基准测试中仅使用 0.05％的误报率实现了 95％的真阳性率（TPR），比之前的最先进方法在相同的 TPR（95％）下的误报率高出 20.66％。HAct 具有低计算复杂度和易于实施的特点，非常适合在实践中对部署的神经网络进行在线监控。

    Sep, 2023

  • 神经元激活覆盖度：重新审视区分与泛化

    本文提出了一种神经元激活覆盖度（NAC）概念，并通过研究神经元行为以区分 InD 和 OOD 数据，打破了 ResNet-50 FPR95 记录并提出了 NAC 标准以评估模型健壮性。

    Jun, 2023

  • 利用神经激活先验的异常检测

    基于神经激活先验的针对超出分布检测的方法，利用神经网络的前全局池化层之前的通道的激活概率差异来提取与 ID 样本和 OOD 样本的相关特征，并提出了一种新的评分函数用于强调这些强激活的神经元在超出分布检测中的作用，该方法能够与现有方法有效地结合，实验结果表明其在多个数据集上达到了最先进的性能。

    Feb, 2024

  • 梯度正则化的离群样本检测

    利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

    Apr, 2024

  • 回归基础：重新审视离分布检测基线

    研究了使用已经训练好的神经网络分类器进行图像识别的方法，提出了一种基于分析神经网络映射空间的简单有效的方法对不在分布范围内的图像进行检测识别，成功提高了识别的准确率。

    Jul, 2022

  • 神经网络的鲁棒性外部分布检测

    本文主要研究深度学习模型在检测 in-distribution 和 OOD inputs 时受到极小对抗扰动的影响，并提出了一种名为 ALOE 的有效算法，该算法通过将模型暴露于经过对抗训练的 inlier 和 outlier examples 中的方式，可以灵活地与现有方法相结合，提高现有的 Out-of-distribution detection 方法的鲁棒性，CIFAR-10 和 CIFAR-100 数据集的 AUROC 分别提高了 58.4% 和 46.59%。

    Mar, 2020

  • 可证明鲁棒性的无需付出昂贵代价的异常检测

    研究使用机器学习技术的安全关键系统需要可靠的不确定性评估。本研究发现，深度神经网络在处理分布外数据时可能会产生过度自信的预测。本研究提出了一种具有保护分布外数据和高准确度的分类器，并提供所有实验代码。

    Jun, 2021

  • 利用神经元激活模式检测脱离分布的对象

    我们的研究致力于目标检测领域的超出分布样本检测，引入了神经元激活模式，结果表明我们的方法优于现有方法，而不会影响分布样本检测性能，同时创建了最大的开源基准。

    Jul, 2023