时间序列异常检测的严格评估
本文提出了一种新的 Point-Adjusted protocol with decay function (PAdf) 评估方法用于评估时间序列异常检测算法,并通过实验证明了该方法能够正确解决现有方法所存在的过度和低估性问题。
May, 2023
当前时间序列异常检测(TAD)研究中存在评估指标缺陷、不一致的基准测试实践以及对新颖深度学习模型设计选择的缺乏合理的论证。本文对 TAD 中的现状进行了批判性分析,揭示了当前研究的误导轨迹,并突出了存在问题的方法及评估实践。我们的观点主张从仅追求模型设计的新颖性转向改进基准测试实践、构建非平凡数据集,并重新强调研究模型架构在特定任务中的实用性。我们的发现表明需要严格的评估协议、创建简单的基线,并揭示现有最先进的深度异常检测模型实际上只是学习线性映射。这些发现表明需要更多探索和开发简单且可解释的 TAD 方法。遗憾的是,现有最先进的深度学习模型的复杂性增加带来的改进很少。我们提供对该领域前进的见解和建议。
May, 2024
TimeSeriesBench 是一个工业级基准测试平台,通过多个训练和测试范式、评估指标和数据集的结合共计 168 个评估设置,评估了现有算法的性能,并提供了异常检测算法的未来设计建议。
Feb, 2024
本文提出一种针对神经网络对未知数据的检测算法,名为 TTA-AD,借鉴了一种新的观察方法,实验证明 TTA-AD 在不同高效图像基准数据集下,运行时间比现有基于分类器的算法下降了 60%~90% 且具有可比较或更好的检测性能。
Jun, 2022
多元时间序列异常检测的关键词为多元时间序列异常检测、协议、基准数据集、主成分分析和深度学习。本文总结了最近算法评估中存在的问题,并提出了一种基于主成分分析的基准算法,在一些常见的基准数据集上超越了许多基于深度学习的方法,以此促进更多关于数据、实验设计、评估方法和结果可解释性等重要方面的研究努力。
Aug, 2023
TADNet 是一种端到端的传统时间序列异常检测模型,利用季节 - 趋势分解将各种类型的异常链接到特定的分解组件,从而简化复杂时间序列的分析,并提高检测性能。
Sep, 2023
本篇论文介绍了针对时间序列数据异常检测的分类方法,并对传统和深度学习技术进行了评估和比较,为选择最适合特定应用设置的方法提供了指导,并提出了研究方向。
Sep, 2022
介绍了基于制造数据集的异常检测框架,该框架利用异质时间序列数据,提出了一个两阶段的深度异常检测 (TDAD) 框架,该框架在操作周期信号和传感器信号类型上采用了两种不同的无监督学习模型,并结合了其它特征,通过实验综合展示了其对于单级对照方法的优越性、模型无关性和鲁棒性。
Feb, 2022
利用三领域异常检测 (TriAD) 的自主学习方法,本文通过对 UCR 数据集的实验结果,相比于最先进的深度学习模型,实现了基于 PA% K F1 分数的三倍提升,并相比于最先进的不和谐发现算法,实现了 50% 准确率的提升。
Nov, 2023
评估时间序列数据中的异常检测算法是至关重要的,因为不准确的检测可能导致各种实时分析和数据驱动策略中的错误决策。我们引入了 Proximity-Aware Time series anomaly Evaluation (PATE),这是一种新颖的评估指标,它考虑了预测和异常区间之间的时间关系,并使用基于接近度的加权方法来计算精确率和召回率曲线下面积的加权版本。我们的实验表明,PATE 在提供比其他评估指标更合理和准确的评估方面具有优势,我们还使用 PATE 评估方案在各种基准数据集上对几种最先进的异常检测器进行了测试,结果表明,像点调整 F1 分数这样的常见指标无法很好地表征检测性能,而 PATE 能够提供更公平的模型比较。通过引入 PATE,我们重新定义了模型效能的理解,从而引导未来的研究朝着开发更有效和准确的检测模型的方向发展。
May, 2024