Jul, 2023

基于机器学习的基于日志的异常检测的实证研究

PDF
TL;DR对传统机器学习和深度学习技术在日志分析和异常检测中的评估进行了全面的实证研究，结果表明传统机器学习技术和深度学习技术在检测准确性和预测时间方面非常接近，而传统机器学习技术对超参数调整的敏感性较深度学习技术要低。此外，半监督技术的检测准确性明显较监督技术差。
log analysisanomaly detectionmachine learning techniquesdeep learning techniqueshyperparameter tuning
发现论文，激发创造
  • 基于日志的深度学习异常检测：我们走得有多远？

    本文旨在对当前流行的五种基于深度学习模型的系统异常检测方法进行全面评估。通过对四个公共 log 数据集进行实验，我们发现训练数据选择、数据分组、类别分布、数据噪声和早期检测能力等因素都对模型评估产生了重要影响，并指出当前没有解决日志异常检测的问题。

    Feb, 2022

  • 企业软件的基于日志的异常检测：一个实证研究

    对比多个先进的异常检测模型在工业数据集上的表现，结果显示某些模型更适用于结构较松散的数据集，并且研究人员通过定性研究分析了这些模型在识别不同类型的异常时的优势和局限性，最后对训练集大小进行逐渐增加并评估模型的有效性。

    Oct, 2023

  • MLAD: 多系统日志异常检测的统一模型

    提出了一种新的异常检测模型 MLAD，该模型通过语义关系推理跨越多个系统。实验证明了 MLAD 的优越性。

    Jan, 2024

  • 基于树的方法在异常检测中能超越深度学习吗？一项基准研究

    该论文通过综合基准研究评估了多种基于机器学习的异常检测算法，并发现树型算法在许多情境下表现优于深度学习。

    Feb, 2024

  • 尝试简化 -- 改进的主成分分析在基于日志的异常检测中的评估

    通过对传统技术进行优化，我们实现了无监督主成分分析（PCA）技术的优化，通过轻量级的基于语义的日志表示解决了训练数据中未知日志事件的问题，提高了日志表示的效果，我们的研究比较了公共和工业数据集上的七种基于日志的异常检测方法，包括四种 DL-based 方法、两种传统方法和优化的 PCA 技术，结果表明，优化的无监督 PCA 技术在有限的训练数据和资源效率方面达到了与先进的监督 / 半监督 DL 方法相似的效果，从而证明了传统技术通过小而重要的改进具有的适应性和优势。

    Aug, 2023

  • 基于日志表示的异常检测的有效性研究

    通过对以往日志分析研究所采用的常见日志表示技术进行研究和比较，本文选择了六种日志表示技术，并结合七种机器学习模型和四个公共日志数据集，在基于日志的异常检测背景下进行评估，同时分析了日志解析过程和不同特征聚合方法的影响，从而为未来研究人员和开发者在设计自动化日志分析工作流程时提供一些启发性指南，以更好地理解不同日志表示技术的特点，并指导选择最合适的技术进行基于机器学习的日志分析工作流程。

    Aug, 2023

  • 面向监督的异常检测

    本研究提出了一种基于半监督学习和主动学习的异常检测算法，能够在数据标记要求较高的情况下，大大减少数据标记量，提高检测精度，适用于网络入侵检测等领域。

    Jan, 2014

  • 大型语言模型可提供准确且可解释的时间序列异常检测

    LLMAD 是一种新的时间序列异常检测方法，采用大语言模型（LLMs）提供准确而可解释的结果，通过在上下文中的检测来检索正面和负面的相似时间序列片段，并采用 Anomaly Detection Chain-of-Thought（AnoCoT）方法模仿专家逻辑进行决策过程，为用户决策提供解释。

    May, 2024

  • 深度半监督异常检测

    本研究提出新型的半监督深度异常检测方法 Deep SAD，并基于信息论框架建立起来的理论解释。该方法在 MNIST、Fashion-MNIST 和 CIFAR-10 数据集上均取得了令人满意的性能提升。

    Jun, 2019

  • 文本数据深度学习异常检测方法

    使用深度学习和变换器架构结合经典机器学习算法以检测和识别文本中的异常，将所有文本上下文转换为数字表示。

    Nov, 2022