时序异常检测算法的本地评估
本研究提出了基于时间容限的点异常检测的精度和召回率的概念并进行统计模拟研究,结果表明当计算时间容限后,精度和召回率可能会高估检测性能。我们展示了如何获得这两个度量的空分布来评估结果的统计显着性。
Aug, 2020
评估时间序列数据中的异常检测算法是至关重要的,因为不准确的检测可能导致各种实时分析和数据驱动策略中的错误决策。我们引入了 Proximity-Aware Time series anomaly Evaluation (PATE),这是一种新颖的评估指标,它考虑了预测和异常区间之间的时间关系,并使用基于接近度的加权方法来计算精确率和召回率曲线下面积的加权版本。我们的实验表明,PATE 在提供比其他评估指标更合理和准确的评估方面具有优势,我们还使用 PATE 评估方案在各种基准数据集上对几种最先进的异常检测器进行了测试,结果表明,像点调整 F1 分数这样的常见指标无法很好地表征检测性能,而 PATE 能够提供更公平的模型比较。通过引入 PATE,我们重新定义了模型效能的理解,从而引导未来的研究朝着开发更有效和准确的检测模型的方向发展。
May, 2024
在本研究中,我们通过可视证据和统计分析剖析了像素级异常检测中存在的正常样本和异常样本严重不平衡的复杂挑战,并深入探讨了需要考虑不平衡的评估指标的需求。通过对 21 个异常检测问题上使用 11 种领先的现代异常检测方法进行广泛实验评估,我们可以得出结论,基于 Precision-Recall 的指标可以更好地捕捉方法性能的相对关系,使其更适用于这一任务。
Oct, 2023
本文系统评估了多种无监督和半监督的基于深度学习的方法,针对来自物联网系统的多维时间序列数据进行异常检测和诊断。通过实验,我们提出了评估时间序列异常检测的组合 F-score ($Fc_1$) 度量,该度量考虑了异常事件的相关性和检测器的复杂性。实验结果表明,通过动态评分函数,相比静态评分函数,更能提高检测的准确性。而在具体的评分函数的选择上,往往比基本模型的选择更为重要。最后通过实验,我们发现了一个简单而有效的检测器,即基于单变量完全连接的自编码器,并采用动态高斯评分函数。该检测器在异常检测和诊断方面胜过了现有的算法。
Sep, 2021
本文针对网络环境下的异常检测问题,通过系统分析已有的公共和私有基准数据,探索了其时态性、多变量性和空间属性特征,并提出了基于聚类的简化标注方法,实验结果为 2-10 倍。
Nov, 2022
本文使用元分析研究异常检测问题和方法,提供了大量异常检测基准数据和实验结果,分析了实验设计、指标和算法策略的影响,为异常检测问题提供了本体、方法、实验规范和未来研究的指导。
Mar, 2015
该研究论文提出了一种关联时间异常检测模型(RTAnomaly),该模型结合了指标的关联和时间信息,通过图注意力层学习指标之间的依赖关系,并利用正无标签学习来解决训练数据中潜在异常的问题。实验证明,RTAnomaly 在公共数据集和两个工业数据集上表现优于基准模型,平均 F1 得分为 0.929,Hit@3 为 0.920。
Jul, 2023
本文针对无标签数据集的异常检测问题,提供了一种基于三类代理度量(prediction error,model centrality 和 performance on injected synthetic anomalies)的度量组合方法, 将多个非完美代理度量聚合成一个健壮的排名,可以选择最符合数据集的异常检测模型,实验展示了该方法的有效性。
Oct, 2022