如何评价无监督异常检测算法的质量?
本文综合研究了 12 个最流行的无监督异常检测方法,发现它们被评估时使用了不一致的协议,因此定义了一致的评估协议并用于比较它们在五个广泛使用的表格式数据集上的性能。尽管评估不能确定一种方法在所有数据集上优于其他方法,但它识别出那些突出表现的方法并修正了关于它们相对性能的错误认识。
Apr, 2022
本文针对无标签数据集的异常检测问题,提供了一种基于三类代理度量(prediction error,model centrality 和 performance on injected synthetic anomalies)的度量组合方法, 将多个非完美代理度量聚合成一个健壮的排名,可以选择最符合数据集的异常检测模型,实验展示了该方法的有效性。
Oct, 2022
本文研究使用深度预训练神经网络提取特征的传统离群值检测技术在 MVTec Anomaly Detection 数据集上交出的出色成绩在全无监督场景下的鲁棒性,提出了一种简单的单类分类策略(SROC),并证明其在与现有文献中更复杂的策略竞争时具有更好的性能。
Feb, 2022
本文使用元分析研究异常检测问题和方法,提供了大量异常检测基准数据和实验结果,分析了实验设计、指标和算法策略的影响,为异常检测问题提供了本体、方法、实验规范和未来研究的指导。
Mar, 2015
本文系统评估了多种无监督和半监督的基于深度学习的方法,针对来自物联网系统的多维时间序列数据进行异常检测和诊断。通过实验,我们提出了评估时间序列异常检测的组合 F-score ($Fc_1$) 度量,该度量考虑了异常事件的相关性和检测器的复杂性。实验结果表明,通过动态评分函数,相比静态评分函数,更能提高检测的准确性。而在具体的评分函数的选择上,往往比基本模型的选择更为重要。最后通过实验,我们发现了一个简单而有效的检测器,即基于单变量完全连接的自编码器,并采用动态高斯评分函数。该检测器在异常检测和诊断方面胜过了现有的算法。
Sep, 2021
本文提出了一种基于 affiliation 概念的、能够解决经典精确度和召回率不足的时间序列异常检测算法的评估指标扩展方案,该指标基于地面真相和预测集之间的联系,并使用持续时间测量。实验结果表明,该扩展方案有效,可用于评估算法结果,并保持本地性评估,从而实现算法结果的精细可视化和解释。
Jun, 2022
在本研究中,我们通过可视证据和统计分析剖析了像素级异常检测中存在的正常样本和异常样本严重不平衡的复杂挑战,并深入探讨了需要考虑不平衡的评估指标的需求。通过对 21 个异常检测问题上使用 11 种领先的现代异常检测方法进行广泛实验评估,我们可以得出结论,基于 Precision-Recall 的指标可以更好地捕捉方法性能的相对关系,使其更适用于这一任务。
Oct, 2023
通过合成验证数据的方法,我们提出了一个用于评估基于图像的异常检测器的通用框架,该框架与其他基于真实验证集的方法选择相同的模型和超参数,并在各种实验中表现出最佳的异常检测准确性。
Oct, 2023