序列异常检测器的统计评估
本文提出了一种基于 affiliation 概念的、能够解决经典精确度和召回率不足的时间序列异常检测算法的评估指标扩展方案,该指标基于地面真相和预测集之间的联系,并使用持续时间测量。实验结果表明,该扩展方案有效,可用于评估算法结果,并保持本地性评估,从而实现算法结果的精细可视化和解释。
Jun, 2022
提出了一个无监督的时间序列异常检测框架,利用基于点和序列重构模型进行点异常和上下文异常的量化,通过计算重构误差的组合值比率得到名词得分,并进一步将名词得分和异常得分集成生成诱导异常得分,理论上证明在特定条件下诱导异常得分优于原始异常得分,对多个公共数据集进行了广泛的研究,结果表明该框架优于大多数现有时间序列异常检测基准模型。
Oct, 2023
本文利用生成潜在位置模型将变点检测问题定义为假设检验问题,关注时间序列的随机块模型这一特殊情形,并分析了基于不同局部统计方法的两类扫描统计量的极限分布和功率特性,并在合成数据和 Enron 电子邮件语料库上理论和性能比较,证明了两种统计量在一个简单境况下是可接受的,而其中一种统计量在第二种境况下是不可接受的。
Jun, 2013
评估时间序列数据中的异常检测算法是至关重要的,因为不准确的检测可能导致各种实时分析和数据驱动策略中的错误决策。我们引入了 Proximity-Aware Time series anomaly Evaluation (PATE),这是一种新颖的评估指标,它考虑了预测和异常区间之间的时间关系,并使用基于接近度的加权方法来计算精确率和召回率曲线下面积的加权版本。我们的实验表明,PATE 在提供比其他评估指标更合理和准确的评估方面具有优势,我们还使用 PATE 评估方案在各种基准数据集上对几种最先进的异常检测器进行了测试,结果表明,像点调整 F1 分数这样的常见指标无法很好地表征检测性能,而 PATE 能够提供更公平的模型比较。通过引入 PATE,我们重新定义了模型效能的理解,从而引导未来的研究朝着开发更有效和准确的检测模型的方向发展。
May, 2024
在本研究中,我们通过可视证据和统计分析剖析了像素级异常检测中存在的正常样本和异常样本严重不平衡的复杂挑战,并深入探讨了需要考虑不平衡的评估指标的需求。通过对 21 个异常检测问题上使用 11 种领先的现代异常检测方法进行广泛实验评估,我们可以得出结论,基于 Precision-Recall 的指标可以更好地捕捉方法性能的相对关系,使其更适用于这一任务。
Oct, 2023
本文提出了一种混合方法,用于检测用户对数据库的访问数据中的时间异常,该方法使用单个稳态模型进行异常检测,学习一个低秩稳态模型然后拟合回归模型来预测未来正常访问模式的期望可能性得分,然后使用观察到的得分和预测得分之间的差异来评估异常得分,使得时间变化的正常行为模式不被视为异常,实验结果表明了该方法的有效性。
May, 2017
论文介绍了一种新的检测时间序列数据异常值的方法,主要应用于监测微服务和云资源健康。该方法的主要创新点是将时间序列的建模对象从实数值或实数向量扩展到了实数值(或向量)上的概率分布。
Jul, 2020
本文系统评估了多种无监督和半监督的基于深度学习的方法,针对来自物联网系统的多维时间序列数据进行异常检测和诊断。通过实验,我们提出了评估时间序列异常检测的组合 F-score ($Fc_1$) 度量,该度量考虑了异常事件的相关性和检测器的复杂性。实验结果表明,通过动态评分函数,相比静态评分函数,更能提高检测的准确性。而在具体的评分函数的选择上,往往比基本模型的选择更为重要。最后通过实验,我们发现了一个简单而有效的检测器,即基于单变量完全连接的自编码器,并采用动态高斯评分函数。该检测器在异常检测和诊断方面胜过了现有的算法。
Sep, 2021