Nov, 2023

RAPID: 基于 PLM 的免训练基于检索的日志异常检测，考虑到令牌级别的信息

PDF
TL;DR通过对日志数据进行自然语言处理并利用先前训练的语言模型，提出了一种基于文本相似度的快速异常检测模型 RAPID，采用检索法技术进行测试日志与正常日志的对比，无需针对日志数据进行训练，能够实现实时检测，且在特定数据集上具有最好的性能表现。
log anomaly detectionrapidreal-time capabilityretrieval-based techniquecore set technique
发现论文，激发创造
  • MLAD: 多系统日志异常检测的统一模型

    提出了一种新的异常检测模型 MLAD，该模型通过语义关系推理跨越多个系统。实验证明了 MLAD 的优越性。

    Jan, 2024

  • RAPID：使用上下文感知深度学习的强化高级持续性威胁 (APT) 检测与调查

    RAPID 是一种基于深度学习的新型方法，利用上下文感知异常检测和警报追踪来实现强大的高级持续性威胁（APTs）检测和调查，通过利用自我监督的序列学习和迭代学习的嵌入，我们的方法能够有效应对动态系统行为，并且通过使用溯源跟踪，丰富警报信息和提高检测能力，RAPID 在真实场景中证明了其有效性和计算效率，同时相比最先进的方法具有更高的精确度和召回率，显著减少误报，RAPID 整合上下文信息，便于从检测过渡到调查，为安全团队提供详细的见解以高效应对 APTs 威胁。

    Jun, 2024

  • 基于机器学习的基于日志的异常检测的实证研究

    对传统机器学习和深度学习技术在日志分析和异常检测中的评估进行了全面的实证研究，结果表明传统机器学习技术和深度学习技术在检测准确性和预测时间方面非常接近，而传统机器学习技术对超参数调整的敏感性较深度学习技术要低。此外，半监督技术的检测准确性明显较监督技术差。

    Jul, 2023

  • LogGPT: 基于 GPT 的日志异常检测

    基于日志数据检测系统异常对于确保计算机系统的安全性和可靠性至关重要。最近，深度学习模型广泛应用于日志异常检测中，LogGPT 是一个使用 GPT 进行日志异常检测的新型框架，通过对先前序列进行预测进一步提高模型性能，并提出一种新颖的强化学习策略来微调模型以适用于日志异常检测任务，实验证明 LogGPT 显著优于现有的最先进方法。

    Sep, 2023

  • 企业软件的基于日志的异常检测：一个实证研究

    对比多个先进的异常检测模型在工业数据集上的表现，结果显示某些模型更适用于结构较松散的数据集，并且研究人员通过定性研究分析了这些模型在识别不同类型的异常时的优势和局限性，最后对训练集大小进行逐渐增加并评估模型的有效性。

    Oct, 2023

  • 基于日志的深度学习异常检测：我们走得有多远？

    本文旨在对当前流行的五种基于深度学习模型的系统异常检测方法进行全面评估。通过对四个公共 log 数据集进行实验，我们发现训练数据选择、数据分组、类别分布、数据噪声和早期检测能力等因素都对模型评估产生了重要影响，并指出当前没有解决日志异常检测的问题。

    Feb, 2022

  • LogGPT：基于日志的异常检测的 ChatGPT 探索

    通过 ChatGPT 的语言解释能力，本研究提出了基于 ChatGPT 的 LogGPT 框架，旨在探索将大规模语料库的知识转移应用于基于日志的异常检测。在 BGL 和 Spirit 数据集上，通过与三种基于深度学习的方法进行比较，实验评估了 LogGPT 的性能，显示出良好的可解释性和有希望的结果。该研究初步揭示了 ChatGPT 等基于提示的模型在基于日志的异常检测任务中的潜力。

    Sep, 2023

  • 基于日志的可伸缩和自适应异常检测，专家在环节中

    提出了一种基于 Trie 数据结构和机器学习的日志异常检测框架 SeaLog，实验结果表明 SeaLog 相比基线方法实现更高的准确性和效率，并且可以借助 ChatGPT 等大型语言模型进行异常日志数据的快速反馈和验证。

    Jun, 2023

  • 用于可解释系统日志异常检测的循环神经网络注意力机制

    本研究中，我们利用带有 attention 机制的 RNN 语言模型来进行深度学习方法的可解释性应用于计算机系统和日志数据的异常检测，实现了卓越的性能和可解释性。

    Mar, 2018

  • 尝试简化 -- 改进的主成分分析在基于日志的异常检测中的评估

    通过对传统技术进行优化，我们实现了无监督主成分分析（PCA）技术的优化，通过轻量级的基于语义的日志表示解决了训练数据中未知日志事件的问题，提高了日志表示的效果，我们的研究比较了公共和工业数据集上的七种基于日志的异常检测方法，包括四种 DL-based 方法、两种传统方法和优化的 PCA 技术，结果表明，优化的无监督 PCA 技术在有限的训练数据和资源效率方面达到了与先进的监督 / 半监督 DL 方法相似的效果，从而证明了传统技术通过小而重要的改进具有的适应性和优势。

    Aug, 2023