本研究使用大型语言模型（LLMs）进行日志解析，并提出了基于生成型 LLMs 和小规模微调的 LLMParser 方法。通过对 16 个开源系统进行评估，结果显示 LLMParser 相比现有方法具有显著更高的解析准确率（平均 96% 准确率）。另外，研究还对训练数据规模、模型大小和预训练 LLMs 对解析准确率的影响进行了综合实证分析，并发现较小的 LLMs 可能比更复杂的 LLMs 更有效。此外，对于从其他系统的日志进行预训练的 LLMs，并不总是能够提高解析准确率。总而言之，研究为使用 LLMs 进行日志解析提供了实证证据，并强调了基于 LLMs 的日志解析器的局限性和未来研究方向。

Apr, 2024

本文对自动化日志解析进行了全面评估研究，并发布了工具和基准，用于进一步研究和应用。研究评估了 13 种自动化日志解析器，涵盖了 16 个日志数据集，并报告了准确性，鲁棒性和效率的基准结果，在工业应用中分享了成功案例和经验教训，旨在为未来自动化日志解析的研究和应用提供有价值的指导。

Nov, 2018

通过使用信息熵采样和思维链合并的先进方法，Lemur 日志解析框架成功解决了依赖人工规则以及忽略日志信息语义的问题，实现了最先进的性能和出色的效率。

Feb, 2024

ECLIPSE 是增强型跨语言工业日志解析模型，它通过整合两种有效的数据驱动模板匹配算法和 Faiss 索引，结合大型语言模型的语义理解能力准确提取日志关键词的语义并有效减少检索空间，具有卓越性能和处理效率。

May, 2024

通过对以往日志分析研究所采用的常见日志表示技术进行研究和比较，本文选择了六种日志表示技术，并结合七种机器学习模型和四个公共日志数据集，在基于日志的异常检测背景下进行评估，同时分析了日志解析过程和不同特征聚合方法的影响，从而为未来研究人员和开发者在设计自动化日志分析工作流程时提供一些启发性指南，以更好地理解不同日志表示技术的特点，并指导选择最合适的技术进行基于机器学习的日志分析工作流程。

Aug, 2023

提出了一种方法，基于手写语法直接估计 n-gram 数量和使用约束优化来适应新应用意图，同时不降低过去应用的性能，使用该方法在私人助手系统中对新应用意图进行了评估，发现即使对于没有此类应用程序的适应数据，适应可以将单词错误率提高 15％。

Dec, 2018

本研究提出了一种新的改进 Transformer 模型的方法，使用了文本序列中的离散潜在表示构造 n-gram，并应用于语言建模和文本分类中，经实验证明性能优于传统的 Transformer 模型和 Primer，该模型已在 Jax 中开源以便复现。

Jul, 2022

本文介绍了一种广覆盖概率自顶向下解析器的运作原理和其在语音识别中的应用。首先介绍了语言建模和概率解析的关键概念，并简要回顾了利用句法结构来进行语言建模的一些以前的方法。然后介绍了一种词汇化的概率自顶向下解析器，它在返回解析的准确性和寻找解析效率方面表现非常优异，相对于最好的广覆盖统计解析器。接着提出了一种利用概率自顶向下解析的新的语言模型，实证结果表明，它在测试语料库的困惑度上优于先前的工作。与三元模型的插值获得了异常的提高，说明我们的解析模型捕捉的信息与三元模型捕捉的信息是正交的。最后，一个小的语音识别实验也证明了该模型的实用性。

May, 2001

本研究提出了 Context Rule Assisted Machine Learning (CRAML) 方法，允许领域专家从非结构化文本中构建定制的标记数据集，并构建可追溯到专家编写规则的机器学习文本分类模型，可以在大规模文本数据中可靠地进行标记并生成可用于量化学术研究的文档级别表格数据集。

Jan, 2023

在 AI 运维领域中，对于保证信息系统有序和稳定运行，日志分析至关重要。然而，现有大语言模型在日志分析任务中的表现尚未得到充分验证。为此，我们引入了 LogEval，这是一个综合性基准套件，旨在首次评估大语言模型在不同日志分析任务中的能力。这个基准套件包括日志解析、日志异常检测、日志故障诊断和日志摘要等任务。通过对领先的大语言模型进行严格评估，我们展示了不同大语言模型技术对日志分析性能的影响，重点关注自一致性和少样本上下文学习等方面。我们还讨论了与模型量化、中英文问答评估和提示工程相关的发现。这些发现深入了解了大语言模型在多语言环境中的优势和弱点，以及不同提示策略的有效性。通过采用不同任务的各种评估方法，准确衡量了大语言模型在日志分析中的性能，确保了全面的评估。从 LogEval 评估中获得的见解揭示了大语言模型在日志分析任务中的优势和局限性，为研究人员和从业人员提供了宝贵的指导。

Jul, 2024