Sep, 2023

训练时间和事后溯源识别增强的规模化

PDF
TL;DR近期的研究中，我们提供了有关最新的超出分布（OOD）检测方法 - 极简激活塑形（ASH）的见解和分析。我们证明了激活修剪对 OOD 检测有着不良影响，而激活缩放则增强了 OOD 检测效果。此外，我们提出了 SCALE，一种简单而有效的后期网络增强方法，同时达到了最先进的 OOD 检测性能和不降低分布准确性。通过将缩放概念融入训练过程以捕捉样本的分布特征，我们提出了一种轻量级训练时间 OOD 检测增强方法 - 中间张量塑形（ISH）。在 OpenOOD v1.5 ImageNet-1K 基准测试中，我们取得了近 OOD 数据集 + 1.85％的 AUROC 分数和远 OOD 数据集 + 0.74％的 AUROC 分数。我们的代码和模型可以在此 https URL 找到。
发现论文，激发创造
  • 利用神经激活先验的异常检测

    基于神经激活先验的针对超出分布检测的方法，利用神经网络的前全局池化层之前的通道的激活概率差异来提取与 ID 样本和 OOD 样本的相关特征，并提出了一种新的评分函数用于强调这些强激活的神经元在超出分布检测中的作用，该方法能够与现有方法有效地结合，实验结果表明其在多个数据集上达到了最先进的性能。

    Feb, 2024

  • 通过捕捉极端激活来减轻对于外部分布检测中的过度自信

    通过测量神经网络次最后一层的极端激活值并利用这一特征改进各种 OOD 检测基线，我们解决了模型 “过度自信” 现象造成的 OOD 检测问题，在各类实验中得到了显著提升，不损害任何场景的性能。

    May, 2024

  • 利用重要神经元进行线外检测 (LINe)

    提出了一种新的基于神经元分析的方法，Leveraging Important Neurons (LINe)，通过使用 Shapley 值剪枝和激活截断等方法实现后置 OOD 检测。在 CIFAR-10，CIFAR-100 和 ImageNet 测试数据上，该方法表现出比其他现有后置 OOD 检测方法更高的有效性。

    Mar, 2023

  • 鲁棒语言模型的伪 OOD 训练

    本文提出 POORE - POsthoc pseudo-Ood REgularization 框架，通过在内部数据中生成伪 OOD 数据进行 fine-tune，通过引入新的正则化损失来分离 IND 和 OOD 数据的嵌入，提高了 OOD 预测任务的准确度，相较现有方法在三个实际对话系统上获得了最新的技术进展。

    Oct, 2022

  • 神经元激活覆盖度：重新审视区分与泛化

    本文提出了一种神经元激活覆盖度（NAC）概念，并通过研究神经元行为以区分 InD 和 OOD 数据，打破了 ResNet-50 FPR95 记录并提出了 NAC 标准以评估模型健壮性。

    Jun, 2023

  • 从全球到本地：多尺度的离群检测

    本研究提出了第一个多尺度的 “模式”（MODE）框架，通过同时利用图像的全局视觉信息和局部区域细节来实现最大效益的外域检测。通过引入注意力机制和交叉尺度决策函数，MODE 在几个基准测试中表现出卓越的性能，平均可以在误报率上提高 19.24%、在 AUROC 上提高 2.77%。

    Aug, 2023

  • 通过数据纯化和动态激活函数设计推进离群检测

    通过改进神经网络中 OOD 样本的检测和管理，我们引入了含有噪声滤波技术的 OOD-R 数据集，提高了数据质量和模型准确性，针对模型的过度自信问题，我们还提出了一种创新方法 ActFun 来改善特征提取的稳定性和减小特异性问题，从而更准确地估计 OOD 不确定性。

    Mar, 2024

  • MOS: 针对大型语义空间的扩展分布外检测

    本文提出了一种基于组的 OOD 检测框架和一种新颖的 OOD 评分函数 MOS，通过将大语义空间分解成具有相似概念的小组，简化内部与外部数据之间的决策边界，从而使得面对高维度分类空间的场景下，我们的方法比以前的方法更为有效。在四个精心策划的 OOD 数据集上进行了评估，证明了 MOS 的性能优越，相比之前最好的方法，平均 FPR95 降低 14.33％，推理速度提高 6 倍。

    May, 2021

  • ReAct: 使用修正激活进行超范围检测

    本研究提出了一种名为 ReAct 的简单而有效的技术，用于减少神经网络在 out-of-distribution 数据上的过度自信，并在多个基准数据集上进行了实证展示，证明 ReAct 相较于此前最佳方法可以将误报率 (FPR95) 降低 25.05%。

    Nov, 2021

  • 梯度正则化的离群样本检测

    利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

    Apr, 2024