本文旨在对当前流行的五种基于深度学习模型的系统异常检测方法进行全面评估。通过对四个公共 log 数据集进行实验,我们发现训练数据选择、数据分组、类别分布、数据噪声和早期检测能力等因素都对模型评估产生了重要影响,并指出当前没有解决日志异常检测的问题。
Feb, 2022
本篇研究分析了六个公开可用的日志数据集,关注异常的表现形式和简单的检测技术,结果显示大多数异常与顺序表现无直接联系,不需要先进的检测技术即可实现对这些数据集的高检测率。
Sep, 2023
对传统机器学习和深度学习技术在日志分析和异常检测中的评估进行了全面的实证研究,结果表明传统机器学习技术和深度学习技术在检测准确性和预测时间方面非常接近,而传统机器学习技术对超参数调整的敏感性较深度学习技术要低。此外,半监督技术的检测准确性明显较监督技术差。
Jul, 2023
提出了一种基于 Trie 数据结构和机器学习的日志异常检测框架 SeaLog,实验结果表明 SeaLog 相比基线方法实现更高的准确性和效率,并且可以借助 ChatGPT 等大型语言模型进行异常日志数据的快速反馈和验证。
Jun, 2023
本文介绍了 MoniLog,一种用于检测大型系统中实时异常的分布式方法,旨在检测多源日志流中的顺序和数量异常,并通过输出分类器从管理员的操作中学习标记和评估异常的重要性。
Apr, 2023
该论文通过综合基准研究评估了多种基于机器学习的异常检测算法,并发现树型算法在许多情境下表现优于深度学习。
Feb, 2024
通过对以往日志分析研究所采用的常见日志表示技术进行研究和比较,本文选择了六种日志表示技术,并结合七种机器学习模型和四个公共日志数据集,在基于日志的异常检测背景下进行评估,同时分析了日志解析过程和不同特征聚合方法的影响,从而为未来研究人员和开发者在设计自动化日志分析工作流程时提供一些启发性指南,以更好地理解不同日志表示技术的特点,并指导选择最合适的技术进行基于机器学习的日志分析工作流程。
Aug, 2023
本研究提出了一个新颖的混合框架,通过整合无监督策略的创新算法,利用自定义损失函数显著增强了日志异常检测的有效性。实验结果极具潜力,对伪正例的显著减少以及处理原始未经处理的日志的能力等方面具有显著优势,为 AIOps 平台内日志异常检测的进展作出了重要贡献,满足了现代复杂系统中有效和高效日志分析的关键需求。
Nov, 2023
本文调查了基于深度学习的时间序列异常检测的现状,提供了一种基于分类因素的分类法,并描述了每种分类法的优点和局限性,最后总结了研究中的开放性问题和采用深度异常检测模型面临的挑战。
Nov, 2022
提出了一种基于无监督深度学习的在线异常检测方法,通过分解异常得分,帮助分析员识别潜在的内部威胁活动,实现了减轻分析员负担的目标。在 CERT Insider Threat Dataset v6.2 上的表现证明,该方法可以显著提高威胁检测的召回率。
Oct, 2017