本文系统评估了多种无监督和半监督的基于深度学习的方法，针对来自物联网系统的多维时间序列数据进行异常检测和诊断。通过实验，我们提出了评估时间序列异常检测的组合 F-score ($Fc_1$) 度量，该度量考虑了异常事件的相关性和检测器的复杂性。实验结果表明，通过动态评分函数，相比静态评分函数，更能提高检测的准确性。而在具体的评分函数的选择上，往往比基本模型的选择更为重要。最后通过实验，我们发现了一个简单而有效的检测器，即基于单变量完全连接的自编码器，并采用动态高斯评分函数。该检测器在异常检测和诊断方面胜过了现有的算法。

Sep, 2021

本文提出了两种基于 Excess-Mass 和 Mass-Volume 曲线的无监督异常检测算法评估指标，并介绍了一种基于特征子采样和聚合的方法扩展到高维数据集。

Jul, 2016

这篇系统综述主要研究与连接和自动驾驶车辆相关的异常检测。研究发现，神经网络（如 LSTM，CNN 和自编码器）以及单类支持向量机是最常用的人工智能算法。大多数异常检测模型使用真实世界的车辆数据进行训练，但常常人为地向数据集中注入攻击和故障等异常情况。这些模型主要通过召回率、准确率、精确率、F1 分数和误报率等五个主要评估指标进行评估。此外，文章提出了几项建议，包括综合使用多个评估指标、公开分享模型以促进研究社区的合作和验证，并需要建立具有预定义异常或网络攻击的基准数据集来测试和改进提出的基于异常的检测模型的有效性。此外，对使用不同于 CAN 协议（如以太网和 FlexRay）的入侵检测系统的研究还缺乏。

May, 2024

研究探讨了用于生成输出评估的指标，发现大多数指标存在有利于特定文本生成系统的倾向性，并提出了一种新的评估指标 Favi-Score，该指标能够准确测量这种倾向性。

Jun, 2024

本文针对无标签数据集的异常检测问题，提供了一种基于三类代理度量（prediction error，model centrality 和 performance on injected synthetic anomalies）的度量组合方法， 将多个非完美代理度量聚合成一个健壮的排名，可以选择最符合数据集的异常检测模型，实验展示了该方法的有效性。

Oct, 2022

本研究旨在针对 “绿色 AI” 新兴话题，探讨如何在不损害环境的情况下，应对高性能机器学习模型的要求。通过对各种机器学习算法以及各种多层感知器（MLP）的配置进行仔细评估，并通过时间、CO2 排放和能耗等综合考虑来衡量这些模型的环境足迹，该研究发现，优化的 MLP 配置可以获得更优异的结果，但其资源消耗相应增加，因此必须在模型性能、复杂性和环境成本之间达成平衡。

Jul, 2023

我们提供了一种基于二元矩阵因子分解模型的评估指标，通过一维向量表示来总结多类别分类的对比真阳性率和假阳性率，从而提供了多类别情况下的 ROC 曲线，并通过对这些分解向量的积分得出了对分类器性能的二元 AUC 等效总结。

Apr, 2024

本研究分析了时间序列异常检测中评分协议的合理性，并提出了一种新的基准和评估协议，以帮助更精确地评估 TAD 方法并推动未来的研究。

Sep, 2021

本文使用元分析研究异常检测问题和方法，提供了大量异常检测基准数据和实验结果，分析了实验设计、指标和算法策略的影响，为异常检测问题提供了本体、方法、实验规范和未来研究的指导。

Mar, 2015

在本研究中，我们通过可视证据和统计分析剖析了像素级异常检测中存在的正常样本和异常样本严重不平衡的复杂挑战，并深入探讨了需要考虑不平衡的评估指标的需求。通过对 21 个异常检测问题上使用 11 种领先的现代异常检测方法进行广泛实验评估，我们可以得出结论，基于 Precision-Recall 的指标可以更好地捕捉方法性能的相对关系，使其更适用于这一任务。

Oct, 2023