日志分析的活跃元学习器
对传统机器学习和深度学习技术在日志分析和异常检测中的评估进行了全面的实证研究,结果表明传统机器学习技术和深度学习技术在检测准确性和预测时间方面非常接近,而传统机器学习技术对超参数调整的敏感性较深度学习技术要低。此外,半监督技术的检测准确性明显较监督技术差。
Jul, 2023
对比多个先进的异常检测模型在工业数据集上的表现,结果显示某些模型更适用于结构较松散的数据集,并且研究人员通过定性研究分析了这些模型在识别不同类型的异常时的优势和局限性,最后对训练集大小进行逐渐增加并评估模型的有效性。
Oct, 2023
本文旨在对当前流行的五种基于深度学习模型的系统异常检测方法进行全面评估。通过对四个公共 log 数据集进行实验,我们发现训练数据选择、数据分组、类别分布、数据噪声和早期检测能力等因素都对模型评估产生了重要影响,并指出当前没有解决日志异常检测的问题。
Feb, 2022
提出了一种基于无监督深度学习的在线异常检测方法,通过分解异常得分,帮助分析员识别潜在的内部威胁活动,实现了减轻分析员负担的目标。在 CERT Insider Threat Dataset v6.2 上的表现证明,该方法可以显著提高威胁检测的召回率。
Oct, 2017
该论文提出了一种名为 ADLILog 的方法,结合源代码日志指令和目标系统的数据,通过两阶段学习过程,学习深度神经网络模型来可靠地检测系统日志中的异常,实验结果表明 ADLILog 在 F1 得分上的表现比相关方法提高了高达 60%。
Jul, 2022
我们提出了一种基于 Transformer 的日志异常检测方法,包括预训练和适配器调整阶段,旨在实现多领域的良好泛化性能,并在一个源域和两个目标域的三个数据集上取得了最先进的性能。
Dec, 2021
通过训练公共和专有日志数据上的大型语言模型 (LLM),本论文介绍了一种在多个下游任务上表现优于现有模型的 LLM,为 AIOps 提供了高效和有效的自动化日志分析解决方案,使 SRE 能够专注于更高层次的任务。
Aug, 2023
本研究提出了一个新颖的混合框架,通过整合无监督策略的创新算法,利用自定义损失函数显著增强了日志异常检测的有效性。实验结果极具潜力,对伪正例的显著减少以及处理原始未经处理的日志的能力等方面具有显著优势,为 AIOps 平台内日志异常检测的进展作出了重要贡献,满足了现代复杂系统中有效和高效日志分析的关键需求。
Nov, 2023
本文提出了一种使用深度卷积神经网络来预测玩家体验的新方法,并通过游戏事件日志训练加上局部层次结构信息来实现情感预测的改进,试验结果表明我们的方法在预测玩家体验方面优于以往研究,并证明了在缺乏日志文件的情况下,通过训练进行跨领域玩家建模的实用性。
Dec, 2022
通过对以往日志分析研究所采用的常见日志表示技术进行研究和比较,本文选择了六种日志表示技术,并结合七种机器学习模型和四个公共日志数据集,在基于日志的异常检测背景下进行评估,同时分析了日志解析过程和不同特征聚合方法的影响,从而为未来研究人员和开发者在设计自动化日志分析工作流程时提供一些启发性指南,以更好地理解不同日志表示技术的特点,并指导选择最合适的技术进行基于机器学习的日志分析工作流程。
Aug, 2023