May, 2024

通过捕捉极端激活来减轻对于外部分布检测中的过度自信

PDF
TL;DR通过测量神经网络次最后一层的极端激活值并利用这一特征改进各种 OOD 检测基线，我们解决了模型 “过度自信” 现象造成的 OOD 检测问题，在各类实验中得到了显著提升，不损害任何场景的性能。
发现论文，激发创造
  • ReAct: 使用修正激活进行超范围检测

    本研究提出了一种名为 ReAct 的简单而有效的技术，用于减少神经网络在 out-of-distribution 数据上的过度自信，并在多个基准数据集上进行了实证展示，证明 ReAct 相较于此前最佳方法可以将误报率 (FPR95) 降低 25.05%。

    Nov, 2021

  • 可证明鲁棒性的无需付出昂贵代价的异常检测

    研究使用机器学习技术的安全关键系统需要可靠的不确定性评估。本研究发现，深度神经网络在处理分布外数据时可能会产生过度自信的预测。本研究提出了一种具有保护分布外数据和高准确度的分类器，并提供所有实验代码。

    Jun, 2021

  • 神经元激活覆盖度：重新审视区分与泛化

    本文提出了一种神经元激活覆盖度（NAC）概念，并通过研究神经元行为以区分 InD 和 OOD 数据，打破了 ResNet-50 FPR95 记录并提出了 NAC 标准以评估模型健壮性。

    Jun, 2023

  • 利用神经激活先验的异常检测

    基于神经激活先验的针对超出分布检测的方法，利用神经网络的前全局池化层之前的通道的激活概率差异来提取与 ID 样本和 OOD 样本的相关特征，并提出了一种新的评分函数用于强调这些强激活的神经元在超出分布检测中的作用，该方法能够与现有方法有效地结合，实验结果表明其在多个数据集上达到了最先进的性能。

    Feb, 2024

  • 使用早期层输出在深度神经网络中检测超范围输入

    本研究提出了一种新的的基于输出层的单类分类器方法用于检测深层分类器中的异常值输入，该方法无需访问 OOD 样本且在低维和高维数据集上表现出优异的性能指标。

    Oct, 2019

  • 利用重要神经元进行线外检测 (LINe)

    提出了一种新的基于神经元分析的方法，Leveraging Important Neurons (LINe)，通过使用 Shapley 值剪枝和激活截断等方法实现后置 OOD 检测。在 CIFAR-10，CIFAR-100 和 ImageNet 测试数据上，该方法表现出比其他现有后置 OOD 检测方法更高的有效性。

    Mar, 2023

  • 梯度正则化的离群样本检测

    利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

    Apr, 2024

  • 证明对抗性强鲁棒性的越界数据检测

    本文旨在通过使用区间界传播 (IBP) 来确保拥有可证明的最坏情况保证 (out-of-distribution detection)，该技术不仅在 OOD 点处实现低置信度，还在一个 l∞球的周围实现低置信度。实验结果表明，相比于认证对抗性鲁棒性，最坏情况 OOD 检测的认证保证是可以在不损失太多精度的情况下实现的。

    Jul, 2020

  • 神经网络的鲁棒性外部分布检测

    本文主要研究深度学习模型在检测 in-distribution 和 OOD inputs 时受到极小对抗扰动的影响，并提出了一种名为 ALOE 的有效算法，该算法通过将模型暴露于经过对抗训练的 inlier 和 outlier examples 中的方式，可以灵活地与现有方法相结合，提高现有的 Out-of-distribution detection 方法的鲁棒性，CIFAR-10 和 CIFAR-100 数据集的 AUROC 分别提高了 58.4% 和 46.59%。

    Mar, 2020

  • Model2Detector：使用少量梯度步骤拓宽信息瓶颈以进行外部分布检测

    通过信息论角度分析，本文提出一种将训练好的神经网络转换为 ODD 检测器的方法，该方法使用少量梯度下降步骤，且在流行的图像数据集上准确性优于现有方法，并且减少了计算复杂度。

    Feb, 2022