Jan, 2024

LogFormer: 日志异常检测的预训练和调试流程

PDF
TL;DR提出了一种用于日志异常检测的统一 Transformer 框架（LogFormer），通过预训练和适配器调优阶段建立起一个包括源领域和目标领域的共享语义知识的模型，使用了 Log-Attention 模块来补充日志配对忽略的信息，实验证明了这种方法在多个基准数据集上具有较少可训练参数和较低的训练成本。
log anomaly detectionartificial intelligence for it operationstransformer-based frameworkmulti-domain logslogformer
发现论文，激发创造
  • TransLog: 一种基于 Transformer 的统一框架用于日志异常检测

    我们提出了一种基于 Transformer 的日志异常检测方法，包括预训练和适配器调整阶段，旨在实现多领域的良好泛化性能，并在一个源域和两个目标域的三个数据集上取得了最先进的性能。

    Dec, 2021

  • LogBERT: 基于 BERT 的日志异常检测

    本文提出基于 BERT 的自监督框架 LogBERT 用于日志异常检测，通过两个新颖的自监督训练任务学习正常日志序列的模式，并能够检测出潜在的从正常日志序列偏离的异常情况，实验结果表明 LogBERT 在三个日志数据集上表现优于现有的异常检测方法。

    Mar, 2021

  • MixFormer: 迭代混合注意力的端到端跟踪

    使用 transformers 建立了一种稳健的跟踪框架 MixFormer，采用混合注意力模块（MAM）实现了特征提取和目标信息的同步建模，同时在 LaSOT、TrackingNet、VOT2020、GOT-10k 和 UAV123 等五个基准测试数据集上取得了最新的最高成功率和 EAO 评分。

    Mar, 2022

  • 日志分析的活跃元学习器

    本研究提出了一种基于深度学习模型的日志分析方法，旨在提高系统和网络安全韧性，能够学习和改进自身，识别异常日志条目并忽略错误报警。

    Mar, 2022

  • NormFormer: 更好的 Transformer 预训练模型，附加额外的归一化处理

    NormFormer 结构通过在每一层中添加三种规范化操作，即经过自注意力后的层规范化、自注意力输出的头缩放以及在第一个全连接层后的层规范化来解决 Pre-LayerNorm transformer 在预训练过程中梯度幅度失配的问题。与基线模型相比，NormFormer 无需额外计算成本 (+0.4% 参数增加），对不同规模的语言模型的预训练感知度和下游任务表现都有所改善。此外，NormFormer 结构能够在相同的计算预算下比基线模型更快达到相等的预训练感知度，或者以更小的预训练感知度达到更好的训练效果。用 NormFormer 结构进行的掩蔽语言建模可将预训练过程的 GLUE 性能提高 1.9%。

    Oct, 2021

  • AIOps 驱动的无监督场景下日志异常检测的增强

    本研究提出了一个新颖的混合框架，通过整合无监督策略的创新算法，利用自定义损失函数显著增强了日志异常检测的有效性。实验结果极具潜力，对伪正例的显著减少以及处理原始未经处理的日志的能力等方面具有显著优势，为 AIOps 平台内日志异常检测的进展作出了重要贡献，满足了现代复杂系统中有效和高效日志分析的关键需求。

    Nov, 2023

  • LogGPT: 基于 GPT 的日志异常检测

    基于日志数据检测系统异常对于确保计算机系统的安全性和可靠性至关重要。最近，深度学习模型广泛应用于日志异常检测中，LogGPT 是一个使用 GPT 进行日志异常检测的新型框架，通过对先前序列进行预测进一步提高模型性能，并提出一种新颖的强化学习策略来微调模型以适用于日志异常检测任务，实验证明 LogGPT 显著优于现有的最先进方法。

    Sep, 2023

  • MixFormer：迭代混合注意力实现的端到端跟踪

    本文提出了一种基于 transformers 的简单有效的追踪框架 MixFormer，通过 Mixed Attention Module 实现了特征提取和目标信息集成的同步建模，设计了两种类型的 MixFormer 追踪器，使用不同的预训练方法，提出了减少计算成本的不对称注意机制和有效的得分预测模块，并在包括 LaSOT，TrackingNet，VOT2020，GOT-10k，OTB100 和 UAV123 等七个追踪基准中创造了最新的性能标准。

    Feb, 2023

  • 企业软件的基于日志的异常检测：一个实证研究

    对比多个先进的异常检测模型在工业数据集上的表现，结果显示某些模型更适用于结构较松散的数据集，并且研究人员通过定性研究分析了这些模型在识别不同类型的异常时的优势和局限性，最后对训练集大小进行逐渐增加并评估模型的有效性。

    Oct, 2023

  • 基于日志的深度学习异常检测：我们走得有多远？

    本文旨在对当前流行的五种基于深度学习模型的系统异常检测方法进行全面评估。通过对四个公共 log 数据集进行实验，我们发现训练数据选择、数据分组、类别分布、数据噪声和早期检测能力等因素都对模型评估产生了重要影响，并指出当前没有解决日志异常检测的问题。

    Feb, 2022