Mar, 2022

适应层深度神经网络用于区分分布外数据

HTML
PDF
TL;DR本文提出了一种新的适用于深度神经网络（DNNs）的层自适应OOD检测框架（LA-OOD），该框架能够充分利用中间层的输出，通过在中间层同时训练多个One-Class SVM OOD探测器，以利用在DNNs不同深度上编码的完整光谱特征，而非仅集中于末端层特征，我们开发了一个简单而有效的层自适应策略来识别最佳层以便检测每个潜在的OOD样例。
发现论文，激发创造
  • 使用早期层输出在深度神经网络中检测超范围输入

    本研究提出了一种新的的基于输出层的单类分类器方法用于检测深层分类器中的异常值输入，该方法无需访问OOD样本且在低维和高维数据集上表现出优异的性能指标。

    Oct, 2019

  • 利用子空间技术和特征的概率建模进行样本外检测

    本文提出了一种基于降维增强深度神经网络（DNN）的离群检测方法：通过对高维特征进行线性与非线性降维，得到更真实的特征嵌入子空间，利用其计算分布学习和特征重构误差有效地检测不在分布内的样本，实验结果表明其效果优于一些已有方法。

    Dec, 2020

  • 探索识别非分布极限

    该研究论文表明，大规模预训练的transformers网络可以显著提高深度神经网络在接近out-of-distribution检测上的性能，包括基于图像和基因组学数据的任务，并探索了利用少量样本进行outlier exposure及为该类任务提供名称信息的方法。

    Jun, 2021

  • 多层次离群检测的函数数据视角和基线

    采用了一种基于网络的功能视图方法，通过提取多层分类器中的统计模式和关系来探测样本轨迹中的异常，从而改进了流行的过度分布检测方法。

    Jun, 2023

  • 元外推学习用于持续自适应异常检测

    我们提出了一种新颖且更现实的设置，称为连续自适应离群分布检测（CAOOD），旨在开发一种能够适应动态和迅速适应新到达分布的离群分布检测模型，并且在部署期间具有不足的ID样本。通过设计学习和适应图表，我们开发了元离群学习（MOL），在训练过程中学习到了一个良好初始化的离群分布检测模型。在测试过程中，MOL通过少量适应快速调整到新的分布，从而确保在不断变化的分布上具有离群分布检测性能。对几个离群分布基准测试的广泛实验证明了我们方法在保持ID分类准确性和离群分布检测性能方面的有效性。

    Sep, 2023

  • 低维度梯度有助于外部分布检测

    通过对梯度信息进行线性降维，结合现有的检测评分函数，我们的方法在各种检测任务中展示了卓越的性能，例如在 ImageNet 基准测试中，我们的方法相较于当前最先进方法，在95%召回率时，假阳性率平均减少了11.15%。

    Oct, 2023

  • 朝着外部分布检测的现实基准

    深度神经网络在各种技术和服务中得到越来越广泛的应用，但其容易受到来自训练集不同分布的样本的干扰，而常见的解决方法是使深度神经网络具备检测这种样本的能力。本文提出了一种基于ImageNet和Places365的全面评估标准，根据与训练集的语义相似性，将个别类别分为内部分布和外部分布，通过不同的技术确定哪些类别应被视为内部分布，得到具备不同性质的评估标准。不同的ODD检测技术在不同的评估标准下的实验结果表明，它们的有效性取决于所选择的评估标准，而基于置信度的技术在接近ODD样本上可能优于基于分类器的技术。

    Apr, 2024

  • 梯度正则化的离群样本检测

    利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

    Apr, 2024

  • 持续无监督的外部分布检测

    不断进行未标注OOD检测的新设置，使用融合Mahalanobis距离和最近邻方法的U-OOD评分函数，并设计了一种置信度缩放的少样本OOD检测器，大幅改善相关领域的强基准模型。

    Jun, 2024

  • 通过结合现有的事后方法改善离群检测

    该研究论文探讨了深度学习领域中基于现有方法的组合对异常检测的增强效果，并提出了四种不同的策略来将多个检测分数融合成统一的异常检测器，研究并比较了各种方法在广泛基准上的效果，并提出了在缺乏已知异常数据的情况下如何选择异常检测器的准则。

    Jul, 2024