LogLead -- 快速集成日志加载器、增强器和异常检测器
本研究介绍了一种基于贝叶斯因子的漂移检测方法,用于判断何时需要人工介入以进行干预、重新训练和更新 Log Anomaly Detection (LAD) 的模型,演示了使用真实采集的日志数据的不变数据序列和模拟异常污染水平的活动序列的方法。
Oct, 2023
提出了一种基于 Trie 数据结构和机器学习的日志异常检测框架 SeaLog,实验结果表明 SeaLog 相比基线方法实现更高的准确性和效率,并且可以借助 ChatGPT 等大型语言模型进行异常日志数据的快速反馈和验证。
Jun, 2023
我们提出了一种基于 Transformer 的日志异常检测方法,包括预训练和适配器调整阶段,旨在实现多领域的良好泛化性能,并在一个源域和两个目标域的三个数据集上取得了最先进的性能。
Dec, 2021
通过对以往日志分析研究所采用的常见日志表示技术进行研究和比较,本文选择了六种日志表示技术,并结合七种机器学习模型和四个公共日志数据集,在基于日志的异常检测背景下进行评估,同时分析了日志解析过程和不同特征聚合方法的影响,从而为未来研究人员和开发者在设计自动化日志分析工作流程时提供一些启发性指南,以更好地理解不同日志表示技术的特点,并指导选择最合适的技术进行基于机器学习的日志分析工作流程。
Aug, 2023
本篇研究分析了六个公开可用的日志数据集,关注异常的表现形式和简单的检测技术,结果显示大多数异常与顺序表现无直接联系,不需要先进的检测技术即可实现对这些数据集的高检测率。
Sep, 2023
本文对自动化日志解析进行了全面评估研究,并发布了工具和基准,用于进一步研究和应用。研究评估了 13 种自动化日志解析器,涵盖了 16 个日志数据集,并报告了准确性,鲁棒性和效率的基准结果,在工业应用中分享了成功案例和经验教训,旨在为未来自动化日志解析的研究和应用提供有价值的指导。
Nov, 2018
本文旨在对当前流行的五种基于深度学习模型的系统异常检测方法进行全面评估。通过对四个公共 log 数据集进行实验,我们发现训练数据选择、数据分组、类别分布、数据噪声和早期检测能力等因素都对模型评估产生了重要影响,并指出当前没有解决日志异常检测的问题。
Feb, 2022
本研究提出了一个新颖的混合框架,通过整合无监督策略的创新算法,利用自定义损失函数显著增强了日志异常检测的有效性。实验结果极具潜力,对伪正例的显著减少以及处理原始未经处理的日志的能力等方面具有显著优势,为 AIOps 平台内日志异常检测的进展作出了重要贡献,满足了现代复杂系统中有效和高效日志分析的关键需求。
Nov, 2023