本文介绍了 EarlyBIRD 方法，用于在预训练的 transformer 模型的早期层中构建代码的组合表示，旨在提高软件工程任务的性能，并可用于漏洞检测和类型推断。实验证明早期层的组合可在使用同样资源的情况下获得更好的结果，并能在微调和推断期间降低资源使用。

May, 2023

本文介绍了如何使用 Fine-tune 调整预训练语言模型，例如 BERT、RoBERTa 和 GPT-2，来识别电信领域的文档中的工作组标准，其准确率可达 84.6%。

Jun, 2023

通过训练公共和专有日志数据上的大型语言模型(LLM)，本论文介绍了一种在多个下游任务上表现优于现有模型的LLM，为AIOps提供了高效和有效的自动化日志分析解决方案，使SRE能够专注于更高层次的任务。

Aug, 2023

对比多个先进的异常检测模型在工业数据集上的表现，结果显示某些模型更适用于结构较松散的数据集，并且研究人员通过定性研究分析了这些模型在识别不同类型的异常时的优势和局限性，最后对训练集大小进行逐渐增加并评估模型的有效性。

Oct, 2023

使用大型语言模型的程序修复任务中，通过降低训练数据量、使用代码剪裁技术及构建全面的代码修复数据集，我们的系统能够在更少的案例中准确匹配人工修复，并显著提升可用模型的性能。

Feb, 2024

通过回顾现有工作，我们按类别介绍了应用语言模型于网络领域的突出成果，并详细解释它们在工作流程的不同阶段的操作方式。此外，我们深入探讨了遇到的挑战，讨论了潜在解决方案，并勾勒了未来的研究前景。我们希望这份调查能为研究人员和实践者提供洞见，推动该跨学科研究领域的发展。

Apr, 2024

现有的故障检测方法在大型语言模型上表现不佳，因此我们提出了一种名为MuCS的基于提示变异的预测置信度平滑方法，该方法能显著提升现有方法在测试覆盖率上的改进达到97.64%。

Apr, 2024

大型语言模型 (LLMs) 在最近因其出色的理解和推理能力而受到了广泛关注，取得了许多领域的巨大进展。LLM 技术的进步也为电信领域的许多任务自动化提供了有希望的机会。本工作旨在提供LLM-enabled电信网络的全面概述，介绍了LLM的基本原理、关键技术和电信应用，并给出了未来发展方向。

May, 2024

在AI运维领域中，对于保证信息系统有序和稳定运行，日志分析至关重要。然而，现有大语言模型在日志分析任务中的表现尚未得到充分验证。为此，我们引入了LogEval，这是一个综合性基准套件，旨在首次评估大语言模型在不同日志分析任务中的能力。这个基准套件包括日志解析、日志异常检测、日志故障诊断和日志摘要等任务。通过对领先的大语言模型进行严格评估，我们展示了不同大语言模型技术对日志分析性能的影响，重点关注自一致性和少样本上下文学习等方面。我们还讨论了与模型量化、中英文问答评估和提示工程相关的发现。这些发现深入了解了大语言模型在多语言环境中的优势和弱点，以及不同提示策略的有效性。通过采用不同任务的各种评估方法，准确衡量了大语言模型在日志分析中的性能，确保了全面的评估。从LogEval评估中获得的见解揭示了大语言模型在日志分析任务中的优势和局限性，为研究人员和从业人员提供了宝贵的指导。

Jul, 2024

本研究解决了软件测试过程中的维护成本和努力问题，提出了利用大型语言模型（LLMs）进行测试维护的创新方法。研究表明，通过多智能体架构，可以预测哪些测试用例在源代码更改后需要维护，从而显著提高测试维护的效率和质量。

Sep, 2024