Apr, 2023

MoniLog: 云计算基础设施自动化日志异常检测系统

PDF
TL;DR本文介绍了 MoniLog，一种用于检测大型系统中实时异常的分布式方法，旨在检测多源日志流中的顺序和数量异常，并通过输出分类器从管理员的操作中学习标记和评估异常的重要性。
anomaly detectionreal-time monitoringdistributed systemslogsscaling potential
发现论文，激发创造
  • 评估基于序列的异常检测技术常用日志数据集的关键回顾

    本篇研究分析了六个公开可用的日志数据集，关注异常的表现形式和简单的检测技术，结果显示大多数异常与顺序表现无直接联系，不需要先进的检测技术即可实现对这些数据集的高检测率。

    Sep, 2023

  • 企业软件的基于日志的异常检测：一个实证研究

    对比多个先进的异常检测模型在工业数据集上的表现，结果显示某些模型更适用于结构较松散的数据集，并且研究人员通过定性研究分析了这些模型在识别不同类型的异常时的优势和局限性，最后对训练集大小进行逐渐增加并评估模型的有效性。

    Oct, 2023

  • 基于日志的可伸缩和自适应异常检测，专家在环节中

    提出了一种基于 Trie 数据结构和机器学习的日志异常检测框架 SeaLog，实验结果表明 SeaLog 相比基线方法实现更高的准确性和效率，并且可以借助 ChatGPT 等大型语言模型进行异常日志数据的快速反馈和验证。

    Jun, 2023

  • 基于日志的深度学习异常检测：我们走得有多远？

    本文旨在对当前流行的五种基于深度学习模型的系统异常检测方法进行全面评估。通过对四个公共 log 数据集进行实验，我们发现训练数据选择、数据分组、类别分布、数据噪声和早期检测能力等因素都对模型评估产生了重要影响，并指出当前没有解决日志异常检测的问题。

    Feb, 2022

  • 利用日志指令进行基于日志的异常检测

    该论文提出了一种名为 ADLILog 的方法，结合源代码日志指令和目标系统的数据，通过两阶段学习过程，学习深度神经网络模型来可靠地检测系统日志中的异常，实验结果表明 ADLILog 在 F1 得分上的表现比相关方法提高了高达 60％。

    Jul, 2022

  • AIOps 驱动的无监督场景下日志异常检测的增强

    本研究提出了一个新颖的混合框架，通过整合无监督策略的创新算法，利用自定义损失函数显著增强了日志异常检测的有效性。实验结果极具潜力，对伪正例的显著减少以及处理原始未经处理的日志的能力等方面具有显著优势，为 AIOps 平台内日志异常检测的进展作出了重要贡献，满足了现代复杂系统中有效和高效日志分析的关键需求。

    Nov, 2023

  • 用于日志异常检测流程的数据漂移监控

    本研究介绍了一种基于贝叶斯因子的漂移检测方法，用于判断何时需要人工介入以进行干预、重新训练和更新 Log Anomaly Detection (LAD) 的模型，演示了使用真实采集的日志数据的不变数据序列和模拟异常污染水平的活动序列的方法。

    Oct, 2023

  • 基于统计学习的云自动异常检测

    研究开发了两种新的统计技术，用于自动检测云基础架构数据中的异常，采用季节性分解和鲁棒统计度量，有效实现在季节性高峰存在的情况下的异常检测。从容量规划，用户行为和监督学习三个方面证明了所提出技术的有效性。

    Apr, 2017

  • LogELECTRA：无结构日志的自监督异常检测

    我们提出了一种新的日志异常检测模型 LogELECTRA，通过应用 ELECTRA 自然语言处理模型来分析单行日志消息的语义，LogELECTRA 专门用于检测点异常的日志异常，并在公共基准日志数据集 BGL、Sprit 和 Thunderbird 的实验中优于现有的最先进方法。

    Feb, 2024

  • 缺陷演化分析的日志总结

    日志分析和监控是软件维护和缺陷识别的重要方面。本文提出了一种基于语义的在线聚类方法，动态更新日志聚类以实现对代码错误生命周期的监控，并引入了一种新的度量指标来评估时间日志聚类的性能。通过在工业数据集上进行实验，发现我们的解决方案优于类似系统，希望本研究能在缺陷数据集的时间性探索方面鼓励更多研究。

    Mar, 2024