Oct, 2023

用于日志异常检测流程的数据漂移监控

PDF
TL;DR本研究介绍了一种基于贝叶斯因子的漂移检测方法，用于判断何时需要人工介入以进行干预、重新训练和更新 Log Anomaly Detection (LAD) 的模型，演示了使用真实采集的日志数据的不变数据序列和模拟异常污染水平的活动序列的方法。
发现论文，激发创造
  • MLAD: 多系统日志异常检测的统一模型

    提出了一种新的异常检测模型 MLAD，该模型通过语义关系推理跨越多个系统。实验证明了 MLAD 的优越性。

    Jan, 2024

  • 评估基于序列的异常检测技术常用日志数据集的关键回顾

    本篇研究分析了六个公开可用的日志数据集，关注异常的表现形式和简单的检测技术，结果显示大多数异常与顺序表现无直接联系，不需要先进的检测技术即可实现对这些数据集的高检测率。

    Sep, 2023

  • 基于机器学习的基于日志的异常检测的实证研究

    对传统机器学习和深度学习技术在日志分析和异常检测中的评估进行了全面的实证研究，结果表明传统机器学习技术和深度学习技术在检测准确性和预测时间方面非常接近，而传统机器学习技术对超参数调整的敏感性较深度学习技术要低。此外，半监督技术的检测准确性明显较监督技术差。

    Jul, 2023

  • 基于日志的可伸缩和自适应异常检测，专家在环节中

    提出了一种基于 Trie 数据结构和机器学习的日志异常检测框架 SeaLog，实验结果表明 SeaLog 相比基线方法实现更高的准确性和效率，并且可以借助 ChatGPT 等大型语言模型进行异常日志数据的快速反馈和验证。

    Jun, 2023

  • 利用日志指令进行基于日志的异常检测

    该论文提出了一种名为 ADLILog 的方法，结合源代码日志指令和目标系统的数据，通过两阶段学习过程，学习深度神经网络模型来可靠地检测系统日志中的异常，实验结果表明 ADLILog 在 F1 得分上的表现比相关方法提高了高达 60％。

    Jul, 2022

  • 基于日志的深度学习异常检测：我们走得有多远？

    本文旨在对当前流行的五种基于深度学习模型的系统异常检测方法进行全面评估。通过对四个公共 log 数据集进行实验，我们发现训练数据选择、数据分组、类别分布、数据噪声和早期检测能力等因素都对模型评估产生了重要影响，并指出当前没有解决日志异常检测的问题。

    Feb, 2022

  • GLAD：面向日志异常检测的内容感知动态图

    GLAD 是一个基于图的日志异常检测框架，结合日志语义、关系模式和顺序模式，能够有效地检测系统日志中的异常关系模式。

    Sep, 2023

  • 企业软件的基于日志的异常检测：一个实证研究

    对比多个先进的异常检测模型在工业数据集上的表现，结果显示某些模型更适用于结构较松散的数据集，并且研究人员通过定性研究分析了这些模型在识别不同类型的异常时的优势和局限性，最后对训练集大小进行逐渐增加并评估模型的有效性。

    Oct, 2023

  • MoniLog: 云计算基础设施自动化日志异常检测系统

    本文介绍了 MoniLog，一种用于检测大型系统中实时异常的分布式方法，旨在检测多源日志流中的顺序和数量异常，并通过输出分类器从管理员的操作中学习标记和评估异常的重要性。

    Apr, 2023

  • DetAIL：一款自动检测和分析语言漂移的工具

    本论文旨在确保 “基于机器学习和深度学习” 的系统能够像传统软件一样可靠。论文提出了一种度量数据漂移的方法以及在其发生时自适应地重新训练模型的方法，并生成不同层面的解释以理解漂移原因。

    Nov, 2022