KDDMay, 2024

PATE：接近感知的时间序列异常评估

PDF
TL;DR评估时间序列数据中的异常检测算法是至关重要的，因为不准确的检测可能导致各种实时分析和数据驱动策略中的错误决策。我们引入了 Proximity-Aware Time series anomaly Evaluation (PATE)，这是一种新颖的评估指标，它考虑了预测和异常区间之间的时间关系，并使用基于接近度的加权方法来计算精确率和召回率曲线下面积的加权版本。我们的实验表明，PATE 在提供比其他评估指标更合理和准确的评估方面具有优势，我们还使用 PATE 评估方案在各种基准数据集上对几种最先进的异常检测器进行了测试，结果表明，像点调整 F1 分数这样的常见指标无法很好地表征检测性能，而 PATE 能够提供更公平的模型比较。通过引入 PATE，我们重新定义了模型效能的理解，从而引导未来的研究朝着开发更有效和准确的检测模型的方向发展。
anomaly detection algorithmstime series dataevaluation metrictemporal dynamicspate
发现论文，激发创造
  • 时序异常检测算法的本地评估

    本文提出了一种基于 affiliation 概念的、能够解决经典精确度和召回率不足的时间序列异常检测算法的评估指标扩展方案，该指标基于地面真相和预测集之间的联系，并使用持续时间测量。实验结果表明，该扩展方案有效，可用于评估算法结果，并保持本地性评估，从而实现算法结果的精细可视化和解释。

    Jun, 2022

  • 时间序列异常检测的严格评估

    本研究分析了时间序列异常检测中评分协议的合理性，并提出了一种新的基准和评估协议，以帮助更精确地评估 TAD 方法并推动未来的研究。

    Sep, 2021

  • 时间序列的精确度和召回率

    本研究提出了一种新的数学模型，用于评估时间序列分类算法的准确性，并将经典异常检测方法扩展到处理基于时间范围的异常，同时支持领域特定的定制化需求。

    Mar, 2018

  • 基于衰减函数的时间序列异常检测评估策略

    本文提出了一种新的 Point-Adjusted protocol with decay function (PAdf) 评估方法用于评估时间序列异常检测算法，并通过实验证明了该方法能够正确解决现有方法所存在的过度和低估性问题。

    May, 2023

  • 序列异常检测器的统计评估

    本研究提出了基于时间容限的点异常检测的精度和召回率的概念并进行统计模拟研究，结果表明当计算时间容限后，精度和召回率可能会高估检测性能。我们展示了如何获得这两个度量的空分布来评估结果的统计显着性。

    Aug, 2020

  • 使用 PATE 进行可扩展私有学习

    本文介绍 Private Aggregation of Teacher Ensembles (PATE) 这种利用集合的 “教师” 模型来构建 “学生” 隐私机器学习模型的方法，并提出一些新的机制来更好地实现差分隐私，在大规模的数据集上进行了检验。

    Feb, 2018

  • MTAD：多元时间序列异常检测工具与基准

    通过综述与评估 12 种最先进的 KPI 异常检测方法并提出了一种新的评估指标 “显著性”，该研究为未来的学术研究与工业应用提供了基础。

    Jan, 2024

  • 多变量时间序列异常检测：先进算法与有缺陷的评估方法

    多元时间序列异常检测的关键词为多元时间序列异常检测、协议、基准数据集、主成分分析和深度学习。本文总结了最近算法评估中存在的问题，并提出了一种基于主成分分析的基准算法，在一些常见的基准数据集上超越了许多基于深度学习的方法，以此促进更多关于数据、实验设计、评估方法和结果可解释性等重要方面的研究努力。

    Aug, 2023

  • 异常检测问题的元分析

    本文使用元分析研究异常检测问题和方法，提供了大量异常检测基准数据和实验结果，分析了实验设计、指标和算法策略的影响，为异常检测问题提供了本体、方法、实验规范和未来研究的指导。

    Mar, 2015

  • 多元时间序列中异常检测和诊断的评估

    本文系统评估了多种无监督和半监督的基于深度学习的方法，针对来自物联网系统的多维时间序列数据进行异常检测和诊断。通过实验，我们提出了评估时间序列异常检测的组合 F-score ($Fc_1$) 度量，该度量考虑了异常事件的相关性和检测器的复杂性。实验结果表明，通过动态评分函数，相比静态评分函数，更能提高检测的准确性。而在具体的评分函数的选择上，往往比基本模型的选择更为重要。最后通过实验，我们发现了一个简单而有效的检测器，即基于单变量完全连接的自编码器，并采用动态高斯评分函数。该检测器在异常检测和诊断方面胜过了现有的算法。

    Sep, 2021