Oct, 2023

低维度梯度有助于外部分布检测

PDF
TL;DR通过对梯度信息进行线性降维，结合现有的检测评分函数，我们的方法在各种检测任务中展示了卓越的性能，例如在 ImageNet 基准测试中，我们的方法相较于当前最先进方法，在 95% 召回率时，假阳性率平均减少了 11.15%。
out-of-distribution samplesdeep neural networksgradient disparitieslinear dimension reductionood detection
发现论文，激发创造
  • 探测野外分布移变的梯度重要性

    本文提出了一种名为 GradNorm 的基于梯度空间的方法，通过利用从梯度空间提取的信息来检测异常数据，可以降低平均误警率（FPR95）高达 16.33％，相对于现有最佳方法效果更好。

    Oct, 2021

  • 利用子空间技术和特征的概率建模进行样本外检测

    本文提出了一种基于降维增强深度神经网络（DNN）的离群检测方法：通过对高维特征进行线性与非线性降维，得到更真实的特征嵌入子空间，利用其计算分布学习和特征重构误差有效地检测不在分布内的样本，实验结果表明其效果优于一些已有方法。

    Dec, 2020

  • GradOrth: 基于梯度正交投影的简单且高效的外样本检测

    我们提出了一种名为 GradOrth 的新方法，通过计算对于内分布数据重要的子空间上梯度投影的范数，从而识别出分布外数据。与现有方法相比，该简单而有效的方法在平均假阳率 95% 真阳率（FPR95）下的表现有显著提升，假阳率降低了高达 8%。

    Aug, 2023

  • 梯度正则化的离群样本检测

    利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

    Apr, 2024

  • 基于最后卷积层输出的高维特征子空间投影的异常检测

    这篇论文集中在最后的卷积层输出的高维特征上，通过将这些高维特征投影到两个具体的特征子空间，借助网络的线性层的降维能力来识别产生在训练分布之外的数据，从而实现可靠的模式分类检测。我们的方法不需要输入预处理或特定的数据预调优，通过修改全连接层之前的批归一化和 ReLU 层，减小它们对输出特征分布的影响，扩大了 ID 和 OOD 数据特征之间的分布差距，并在多个基准数据集上进行了广泛实验，展示出最先进的性能。

    May, 2024

  • 通过白化线性判别分析进行深度神经网络未知数据检测

    本研究提出了一种新的特征空间离群点检测算法，使用去白线性判别分析将特征投影到判别子空间和残差子空间中，并结合两个子空间中输入数据与内部分布偏差的大小确定离群点得分，证明了该算法在大规模数据集上的优越性及其对深度分类器的有效性，并在具有对比目标训练的表示空间中更有效地检测新概念。

    Mar, 2023

  • 深度生成模型的 Fisher 信息度量的近似方法用于异常检测

    根据梯度的大小来检测离群数据的深度生成模型无偏方法表现优于典型性测试。

    Mar, 2024

  • 如何解决超出分布检测的维度诅咒？

    机器学习模型在野外部署时可能会受到未知类别的离群数据的挑战。最近对 OOD 检测的进展依赖于距离度量，以区分相对于内部分布数据而言相对较远的样本。尽管有前景，但基于距离的方法可能受到维度灾难问题的困扰，从而限制了在高维特征空间中的功效。为解决这个问题，我们提出了一种新颖的框架 Subspace Nearest Neighbor（SNN）用于 OOD 检测。在训练中，我们的方法通过利用最相关的子维度（即子空间）来规范化模型及其特征表示。子空间学习产生了 ID 和 OOD 数据之间高度可区分的距离度量。我们提供了全面的实验证明 SNN 的有效性。与当前最佳的基于距离的方法相比，SNN 在 CIFAR-100 基准测试中将平均 FPR95 降低了 15.96%。

    Dec, 2023

  • GROOD：插值流形中的梯度感知外部分布检测

    使用渐变空间和类原型增强深度神经网络（DNN）在图像分类中的离群样本检测

    Dec, 2023

  • Model2Detector：使用少量梯度步骤拓宽信息瓶颈以进行外部分布检测

    通过信息论角度分析，本文提出一种将训练好的神经网络转换为 ODD 检测器的方法，该方法使用少量梯度下降步骤，且在流行的图像数据集上准确性优于现有方法，并且减少了计算复杂度。

    Feb, 2022