Apr, 2024

FastLogAD: 基于掩码引导的伪异常生成与判别的日志异常检测

PDF
TL;DR现今大型计算机广泛输出日志以记录运行状态，因此从实时日志信息中准确识别出可疑或恶意活动已变得至关重要。因此，快速日志异常检测成为自动化不可行的手动检测的必要任务。本文介绍了 FastLogAD，这是一个生成器 - 辨别器框架，通过 Mask-Guided Anomaly Generation（MGAG）模型生成伪异常日志，并通过 Discriminative Abnormality Separation（DAS）模型高效地识别异常日志，旨在实现高效的辨别模型，用于快速异常检测。通过在正常序列中随机替换被屏蔽令牌为不太可能的候选词，生成伪异常日志。在辨别阶段，FastLogAD 基于嵌入范数学习正常样本和伪异常样本之间的明显区别，并且无需接触任何测试数据即可选择阈值，从而实现具有竞争性性能的异常检测。在几个常见基准测试上进行了大量实验，结果表明我们提出的 FastLogAD 优于现有的异常检测方法。此外，与先前的方法相比，FastLogAD 实现了至少 10 倍的异常检测速度提升。我们的实现代码可在此 URL 找到。
发现论文，激发创造
  • MLAD: 多系统日志异常检测的统一模型

    提出了一种新的异常检测模型 MLAD，该模型通过语义关系推理跨越多个系统。实验证明了 MLAD 的优越性。

    Jan, 2024

  • RAPID: 基于 PLM 的免训练基于检索的日志异常检测，考虑到令牌级别的信息

    通过对日志数据进行自然语言处理并利用先前训练的语言模型，提出了一种基于文本相似度的快速异常检测模型 RAPID，采用检索法技术进行测试日志与正常日志的对比，无需针对日志数据进行训练，能够实现实时检测，且在特定数据集上具有最好的性能表现。

    Nov, 2023

  • 用于日志异常检测流程的数据漂移监控

    本研究介绍了一种基于贝叶斯因子的漂移检测方法，用于判断何时需要人工介入以进行干预、重新训练和更新 Log Anomaly Detection (LAD) 的模型，演示了使用真实采集的日志数据的不变数据序列和模拟异常污染水平的活动序列的方法。

    Oct, 2023

  • GLAD：面向日志异常检测的内容感知动态图

    GLAD 是一个基于图的日志异常检测框架，结合日志语义、关系模式和顺序模式，能够有效地检测系统日志中的异常关系模式。

    Sep, 2023

  • 基于日志的深度学习异常检测：我们走得有多远？

    本文旨在对当前流行的五种基于深度学习模型的系统异常检测方法进行全面评估。通过对四个公共 log 数据集进行实验，我们发现训练数据选择、数据分组、类别分布、数据噪声和早期检测能力等因素都对模型评估产生了重要影响，并指出当前没有解决日志异常检测的问题。

    Feb, 2022

  • 利用掩码潜在生成建模的可解释异常检测

    我们提出了一种新颖的时间序列异常检测方法，具有优秀的检测准确性和较高的可解释性。我们的方法利用了被称为 TimeVQVAE 的领先时间序列生成方法中的掩蔽生成建模。先前模型在时频域的离散潜空间上进行训练，保留了时频域的维度语义，使我们能够计算不同频段的异常得分，从而更好地了解检测到的异常。此外，先前模型的生成性质允许对检测到的异常进行正常状态的采样，通过反事实推理来增强异常的可解释性。我们在 UCR Time Series Anomaly 存档上的实验评估表明，TimeVQVAE-AD 在检测准确性和可解释性方面明显超过了现有方法。

    Nov, 2023

  • 对抗性学习的异常检测

    本文提出一种基于双向 GAN 的异常检测方法 ALAD，通过对偶学习特征并利用这些特征的重构误差来确定数据样本是否异常，从而在一系列图像和表格数据集上取得了最先进的性能。

    Dec, 2018

  • 基于日志的可伸缩和自适应异常检测，专家在环节中

    提出了一种基于 Trie 数据结构和机器学习的日志异常检测框架 SeaLog，实验结果表明 SeaLog 相比基线方法实现更高的准确性和效率，并且可以借助 ChatGPT 等大型语言模型进行异常日志数据的快速反馈和验证。

    Jun, 2023

  • 大型语言模型可提供准确且可解释的时间序列异常检测

    LLMAD 是一种新的时间序列异常检测方法，采用大语言模型（LLMs）提供准确而可解释的结果，通过在上下文中的检测来检索正面和负面的相似时间序列片段，并采用 Anomaly Detection Chain-of-Thought（AnoCoT）方法模仿专家逻辑进行决策过程，为用户决策提供解释。

    May, 2024

  • 通用人脸防欺骗的深度异常检测

    本文提出了一种新颖的基于深度度量学习技术的面部异常检测架构，通过引入新的损失函数 “度量 softmax”，引导学习过程中的特征向更加具有区分性的表示；同时，通过 few-shot 方法进行后验概率估计，无需训练分类器即可验证结果；实验结果表明，该方法在面部 Presentation Attack Detection 领域取得了显著的性能优势。

    Apr, 2019