Aug, 2023

GradOrth: 基于梯度正交投影的简单且高效的外样本检测

PDF
TL;DR我们提出了一种名为 GradOrth 的新方法，通过计算对于内分布数据重要的子空间上梯度投影的范数，从而识别出分布外数据。与现有方法相比，该简单而有效的方法在平均假阳率 95% 真阳率（FPR95）下的表现有显著提升，假阳率降低了高达 8%。
out-of-distribution dataood detectiongradorthlower-rank subspaceorthogonal projection
发现论文，激发创造
  • 探测野外分布移变的梯度重要性

    本文提出了一种名为 GradNorm 的基于梯度空间的方法，通过利用从梯度空间提取的信息来检测异常数据，可以降低平均误警率（FPR95）高达 16.33％，相对于现有最佳方法效果更好。

    Oct, 2021

  • 低维度梯度有助于外部分布检测

    通过对梯度信息进行线性降维，结合现有的检测评分函数，我们的方法在各种检测任务中展示了卓越的性能，例如在 ImageNet 基准测试中，我们的方法相较于当前最先进方法，在 95% 召回率时，假阳性率平均减少了 11.15%。

    Oct, 2023

  • 梯度正则化的离群样本检测

    利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

    Apr, 2024

  • GROOD：插值流形中的梯度感知外部分布检测

    使用渐变空间和类原型增强深度神经网络（DNN）在图像分类中的离群样本检测

    Dec, 2023

  • 基于最后卷积层输出的高维特征子空间投影的异常检测

    这篇论文集中在最后的卷积层输出的高维特征上，通过将这些高维特征投影到两个具体的特征子空间，借助网络的线性层的降维能力来识别产生在训练分布之外的数据，从而实现可靠的模式分类检测。我们的方法不需要输入预处理或特定的数据预调优，通过修改全连接层之前的批归一化和 ReLU 层，减小它们对输出特征分布的影响，扩大了 ID 和 OOD 数据特征之间的分布差距，并在多个基准数据集上进行了广泛实验，展示出最先进的性能。

    May, 2024

  • 深度最近邻实现的超范围检测

    本文研究使用非参数最近邻距离方法进行开放世界中一类重要任务：Out-of-distribution 检测，不同于先前的研究，该方法不施加任何分布假设，因此具有更强的灵活性和普适性，在多个基准测试中证明了其有效性，并且相对强基线的 Mahalanobis 距离方法，显著降低了 24.77% 误报率 (FPR@TPR95)。

    Apr, 2022

  • GROD：利用外部分布检测增强 Transformer 的泛化性能

    基于 OOD 检测的 Generate Rounded OOD Data (GROD) 算法通过惩罚 OOD 数据的错误分类和生成合成异常值来增强 Transformer 网络在各种任务上的泛化性能，并在不同数据类型的 NLP 和 CV 中的各种 OOD 检测任务中达到了 SOTA 水平。

    Jun, 2024

  • MOS: 针对大型语义空间的扩展分布外检测

    本文提出了一种基于组的 OOD 检测框架和一种新颖的 OOD 评分函数 MOS，通过将大语义空间分解成具有相似概念的小组，简化内部与外部数据之间的决策边界，从而使得面对高维度分类空间的场景下，我们的方法比以前的方法更为有效。在四个精心策划的 OOD 数据集上进行了评估，证明了 MOS 的性能优越，相比之前最好的方法，平均 FPR95 降低 14.33％，推理速度提高 6 倍。

    May, 2021

  • 通过白化线性判别分析进行深度神经网络未知数据检测

    本研究提出了一种新的特征空间离群点检测算法，使用去白线性判别分析将特征投影到判别子空间和残差子空间中，并结合两个子空间中输入数据与内部分布偏差的大小确定离群点得分，证明了该算法在大规模数据集上的优越性及其对深度分类器的有效性，并在具有对比目标训练的表示空间中更有效地检测新概念。

    Mar, 2023

  • OpenOOD: 广义越界检测基准测试

    本文提出了一个名为 OpenOOD 的统一的、结构化的代码库，该库实现了超过 30 种 ODD 检测方法，并在最近提出的一般化 OOD 检测框架下提供了全面的基准。作者通过对这些方法的全面比较发现，过去几年中，该领域取得了显著进展，其中预处理方法和正交后处理方法显示出很强的潜力。

    Oct, 2022