基于日志的深度学习异常检测:我们走得有多远?
对比多个先进的异常检测模型在工业数据集上的表现,结果显示某些模型更适用于结构较松散的数据集,并且研究人员通过定性研究分析了这些模型在识别不同类型的异常时的优势和局限性,最后对训练集大小进行逐渐增加并评估模型的有效性。
Oct, 2023
对传统机器学习和深度学习技术在日志分析和异常检测中的评估进行了全面的实证研究,结果表明传统机器学习技术和深度学习技术在检测准确性和预测时间方面非常接近,而传统机器学习技术对超参数调整的敏感性较深度学习技术要低。此外,半监督技术的检测准确性明显较监督技术差。
Jul, 2023
本篇研究分析了六个公开可用的日志数据集,关注异常的表现形式和简单的检测技术,结果显示大多数异常与顺序表现无直接联系,不需要先进的检测技术即可实现对这些数据集的高检测率。
Sep, 2023
本研究提出应用深度模型代替传统模型以减少误报率并通过使用大数据和深度模型获得更少的错误报告。在 NSL-KDD 基准测试上进行了实验,并与传统学习中最常用的分类器之一进行了比较,结果表明使用深度学习相对于传统学习具有较低的虚警率 10%。
Sep, 2022
提出了一种基于 Trie 数据结构和机器学习的日志异常检测框架 SeaLog,实验结果表明 SeaLog 相比基线方法实现更高的准确性和效率,并且可以借助 ChatGPT 等大型语言模型进行异常日志数据的快速反馈和验证。
Jun, 2023
论文介绍了一种新的检测时间序列数据异常值的方法,主要应用于监测微服务和云资源健康。该方法的主要创新点是将时间序列的建模对象从实数值或实数向量扩展到了实数值(或向量)上的概率分布。
Jul, 2020
通过对以往日志分析研究所采用的常见日志表示技术进行研究和比较,本文选择了六种日志表示技术,并结合七种机器学习模型和四个公共日志数据集,在基于日志的异常检测背景下进行评估,同时分析了日志解析过程和不同特征聚合方法的影响,从而为未来研究人员和开发者在设计自动化日志分析工作流程时提供一些启发性指南,以更好地理解不同日志表示技术的特点,并指导选择最合适的技术进行基于机器学习的日志分析工作流程。
Aug, 2023