LLMParser：使用大型语言模型进行日志解析的探索性研究

Apr, 2024

LLMParser：使用大型语言模型进行日志解析的探索性研究

LLMParser: An Exploratory Study on Using Large Language Models for Log Parsing

Zeyang Ma, An Ran Chen, Dong Jae Kim, Tse-Hsun Chen, Shaowei Wang

TL;DR本研究使用大型语言模型（LLMs）进行日志解析，并提出了基于生成型 LLMs 和小规模微调的 LLMParser 方法。通过对 16 个开源系统进行评估，结果显示 LLMParser 相比现有方法具有显著更高的解析准确率（平均 96% 准确率）。另外，研究还对训练数据规模、模型大小和预训练 LLMs 对解析准确率的影响进行了综合实证分析，并发现较小的 LLMs 可能比更复杂的 LLMs 更有效。此外，对于从其他系统的日志进行预训练的 LLMs，并不总是能够提高解析准确率。总而言之，研究为使用 LLMs 进行日志解析提供了实证证据，并强调了基于 LLMs 的日志解析器的局限性和未来研究方向。

Abstract

Logs are important in modern software development with runtime information. log parsing is the first step in many log-based analyses, that involve extracting structured information from unstructured log data. Tra

log parsing large language models llmparser parsing accuracy log-based analyses

发现论文，激发创造

基于大型语言模型的神经语义解析器的说明（学生摘要）

本研究探讨了解释大型语言模型在语义解析中成功的不同方法以及解释后的模型行为，并期望能激发未来研究更好地理解它们。

Jan, 2023

Logram: 使用 n-Gram 字典的高效日志解析

本文介绍了一种基于 n-gram 字典的自动日志分析方法 Logram，通过与其他五种最先进的日志解析方法的比较，我们发现 Logram 在解析效率方面表现出色，能够支持在线解析日志，并且不会因为 Spark 节点数增加而减少解析准确度。

Jan, 2020

基于 LLMs 的短语结构解析

运用大型语言模型探索生成线性化树解决成分句法分析任务，并通过实验证明模型的性能、泛化能力和挑战。

Oct, 2023

大型语言模型作为数据预处理器

此研究拓展了大型语言模型（LLMs）的应用，探索了它们在数据预处理中的潜力，包括错误检测、数据插补、模式匹配和实体匹配任务。我们提出了一个基于 LLMs 的框架，用于改进模型的性能和效率。实验结果表明 LLMs 在数据预处理中具有巨大潜力。

Aug, 2023

大型语言模型调查

本文介绍了最近关于预训练语言模型（PLMs）的新进展，重点讨论了大型语言模型的预训练、适应和调整、利用和容量评估四个方面，并讨论了未来研究的问题和方向。

Mar, 2023

LogEval：一套用于大型语言模型在日志分析领域的全面基准套件

在 AI 运维领域中，对于保证信息系统有序和稳定运行，日志分析至关重要。然而，现有大语言模型在日志分析任务中的表现尚未得到充分验证。为此，我们引入了 LogEval，这是一个综合性基准套件，旨在首次评估大语言模型在不同日志分析任务中的能力。这个基准套件包括日志解析、日志异常检测、日志故障诊断和日志摘要等任务。通过对领先的大语言模型进行严格评估，我们展示了不同大语言模型技术对日志分析性能的影响，重点关注自一致性和少样本上下文学习等方面。我们还讨论了与模型量化、中英文问答评估和提示工程相关的发现。这些发现深入了解了大语言模型在多语言环境中的优势和弱点，以及不同提示策略的有效性。通过采用不同任务的各种评估方法，准确衡量了大语言模型在日志分析中的性能，确保了全面的评估。从 LogEval 评估中获得的见解揭示了大语言模型在日志分析任务中的优势和局限性，为研究人员和从业人员提供了宝贵的指导。

Jul, 2024

大型语言模型：一份调查报告

对大型语言模型（LLMs）进行了综述，包括三个流行的 LLM 系列（GPT，LLaMA，PaLM）的特点、贡献和局限性，同时讨论了构建和增强 LLMs 的技术、为 LLM 训练、微调和评估准备的常用数据集以及常用的 LLM 评估指标，最后讨论了未来的挑战和研究方向。

Feb, 2024

利用大规模语言模型增强时间序列分析：综述

对利用大型语言模型（LLMs）进行时间序列分析的现有方法进行了系统概述，总结了基于 LLM 的时间序列分析的一般流程，并探讨了未来的研究机会。

Feb, 2024

大型语言模型的合法性及局限性：构建强大的法律语言模型的论证

近期自然语言处理（NLP）在法律领域的应用面临诸多挑战，包括极长的序列长度、专业词汇仅律师才能理解以及数据不平衡。大型语言模型（LLMs）的出现为 NLP 在法律领域提供了新的机会。本研究旨在量化普通 LLMs 与领域特定模型在法律领域的表现，通过比较三个通用 LLMs（ChatGPT-20b，LLaMA-2-70b 和 Falcon-180b）在 LexGLUE 合同条款分类基准测试集上的零样本性能。尽管 LLMs 未经专门训练法律数据，但我们观察到它们在大多数情况下仍能正确分类主题。然而，我们发现它们的微 F1 / 宏 F1 性能比在法律领域微调的较小模型要低 19.2/26.8％，这凸显了需要更强大的法律领域 LLMs。

Nov, 2023

LogicLLM: 探索基于自监督逻辑增强训练的大型语言模型

本篇论文主要介绍了如何通过自监督后训练和上下文学习来增加逻辑知识，从而提高语言模型的逻辑推理能力，取得了比现有基线更好的效果。

May, 2023