Jun, 2023

神经元激活覆盖度：重新审视区分与泛化

PDF
TL;DR本文提出了一种神经元激活覆盖度（NAC）概念，并通过研究神经元行为以区分 InD 和 OOD 数据，打破了 ResNet-50 FPR95 记录并提出了 NAC 标准以评估模型健壮性。
out-of-distribution problemneuron activation statesneuron activation coverageood data detectionmodel robustness evaluation
发现论文，激发创造
  • 利用神经激活先验的异常检测

    基于神经激活先验的针对超出分布检测的方法，利用神经网络的前全局池化层之前的通道的激活概率差异来提取与 ID 样本和 OOD 样本的相关特征，并提出了一种新的评分函数用于强调这些强激活的神经元在超出分布检测中的作用，该方法能够与现有方法有效地结合，实验结果表明其在多个数据集上达到了最先进的性能。

    Feb, 2024

  • 通过捕捉极端激活来减轻对于外部分布检测中的过度自信

    通过测量神经网络次最后一层的极端激活值并利用这一特征改进各种 OOD 检测基线，我们解决了模型 “过度自信” 现象造成的 OOD 检测问题，在各类实验中得到了显著提升，不损害任何场景的性能。

    May, 2024

  • 利用重要神经元进行线外检测 (LINe)

    提出了一种新的基于神经元分析的方法，Leveraging Important Neurons (LINe)，通过使用 Shapley 值剪枝和激活截断等方法实现后置 OOD 检测。在 CIFAR-10，CIFAR-100 和 ImageNet 测试数据上，该方法表现出比其他现有后置 OOD 检测方法更高的有效性。

    Mar, 2023

  • ReAct: 使用修正激活进行超范围检测

    本研究提出了一种名为 ReAct 的简单而有效的技术，用于减少神经网络在 out-of-distribution 数据上的过度自信，并在多个基准数据集上进行了实证展示，证明 ReAct 相较于此前最佳方法可以将误报率 (FPR95) 降低 25.05%。

    Nov, 2021

  • 神经均值差异用于高效的超出分布检测

    通过研究模型激活平均值的变化，提出了新的用于检测异常数据的神经平均差异 (Neural Mean Discrepancy) 指标，并基于此提出了一种高效的异常数据检测器，计算神经平均值的方法不受限于原始输入数据的增量或分布的不同而性能出色。

    Apr, 2021

  • 一种新颖的可解释的脉冲神经网络溯源检测方法

    本文提出了一种新型的 OoD 检测器，采用脉冲数模式来表征神经网络中隐藏层的内部激活，以检测输入实例是否属于训练数据的分布，其性能与相关方案相比具有竞争力，并且能够生成符合预期的相关性说明图。

    Sep, 2022

  • 利用神经元激活模式检测脱离分布的对象

    我们的研究致力于目标检测领域的超出分布样本检测，引入了神经元激活模式，结果表明我们的方法优于现有方法，而不会影响分布样本检测性能，同时创建了最大的开源基准。

    Jul, 2023

  • 梯度正则化的离群样本检测

    利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

    Apr, 2024

  • 神经网络的鲁棒性外部分布检测

    本文主要研究深度学习模型在检测 in-distribution 和 OOD inputs 时受到极小对抗扰动的影响，并提出了一种名为 ALOE 的有效算法，该算法通过将模型暴露于经过对抗训练的 inlier 和 outlier examples 中的方式，可以灵活地与现有方法相结合，提高现有的 Out-of-distribution detection 方法的鲁棒性，CIFAR-10 和 CIFAR-100 数据集的 AUROC 分别提高了 58.4% 和 46.59%。

    Mar, 2020

  • 广义的异常检测：综述

    本文首先提出一个通用的 OOD 检测框架，其中包括了另外四个相关问题的特例或子任务，然后重点回顾了这五个领域的最新技术发展，特别是 OOD 检测方法，并总结了开放的挑战和潜在的研究方向。

    Oct, 2021