大型语言模型（LLMs）在代码生成方面取得了显著进展，但它们的训练使用了来自开源代码库（如 GitHub）的未经筛选的数据，存在意外传播安全漏洞的风险。为了有效地减轻这一问题，本文从软件安全的角度对代码 LLMs 进行了全面研究，并提出了 SecuCoGen 数据集，用于评估和增强代码 LLMs 的安全性能。研究结果发现，现有模型在代码生成中经常忽视安全问题，提出了有效的方法来解决安全漏洞，并提高代码的整体稳健性。此外，研究还发现现有模型在修复漏洞代码方面存在问题，并且某些漏洞类型对模型构成挑战。基于这些发现，我们相信本研究将对软件工程社区产生积极影响，激发改进 LLMs 训练和使用方法的开发，从而实现更安全、更可信的模型部署。

Oct, 2023

KC-GenRe 是一种基于 LLMs 的知识约束生成重排序方法，用于知识图谱完成任务，通过生成的 LLMs 解决了匹配问题、排序问题和遗漏问题，并取得了优于以往方法的性能。

Mar, 2024

可配置软件系统中利用日志定位配置错误的方法，基于大型语言模型和日志进行了实证研究和验证，提出了一种基于日志的两阶段策略，设计了相应的工具进行辅助定位和分析，通过在 Hadoop 上的评估验证了方法的效率和准确性，并通过实际案例研究验证了方法的有效性和可行性。

Mar, 2024

大型语言模型（LLMs）在网络安全应用中显示出潜力，但也因幻觉和缺乏真实性等问题导致信心下降。现有的基准测试提供了一般评估，但不能充分解决 LLMs 在网络安全特定任务中的实际应用方面的问题。为了填补这个空白，我们引入了 SECURE（安全提取、理解与推理评估）基准测试，该基准测试旨在评估 LLMs 在现实网络安全场景中的性能。SECURE 包括六个数据集，重点关注工业控制系统领域，以评估基于行业标准来源的知识提取、理解和推理。我们的研究评估了七种最先进的模型在这些任务上的表现，为改进 LLMs 作为网络咨询工具的可靠性提供了见解和建议。

May, 2024

应用大型语言模型进行安全代码审查时，其生成的回复通常存在冗长、含糊和不完整等问题，需要提高其简练性、可理解性和安全缺陷检测的合规性。本研究比较了三种先进的大型语言模型在 549 个包含安全缺陷的真实代码审查文件上的五个提示下的检测性能，通过分析最佳性能的大型语言模型 - 提示组合产生的 82 个回复中 100 个随机选择的代码文件，提取和分类了这些回复中存在的质量问题，总结出 5 个主题和 16 个类别。该研究揭示了大型语言模型生成的回复在安全代码审查中的不足之处，并为未来优化大型语言模型以更好地完成这一任务铺平了道路。

Jan, 2024

我们引入了一种多用途的代码漏洞分析系统 SecRepair，由一个大型语言模型 CodeGen2 提供支持，帮助开发人员识别和生成修复后的代码，并附带一个完整的漏洞描述和代码评论。我们的创新方法利用增强学习范式来生成由语义奖励机制增强的代码评论。研究结果强调，将增强学习与语义奖励结合起来，提高了模型在处理代码漏洞方面的能力和效果。

Jan, 2024

大规模语言模型（LLMs）在代码生成和修复方面取得了重大进展，但它们使用来自 GitHub 等开源存储库的未经过滤的数据进行训练可能会传播安全漏洞。本文旨在全面评估和增强代码 LLMs 的安全性，并提出了不同策略来减轻这些安全漏洞。

Jul, 2024

本文介绍了 FalconLLM 在网络安全方面的应用，提出了 SecureFalcon 模型架构以便更好地检测软件漏洞。通过构造新的 FormAI 训练数据集，使用 SecureFalcon 模型，检测软件漏洞的准确率达到了 94%。

Jul, 2023

大型语言模型在漏洞检测方面的推理能力较差，常出现错误定位漏洞代码和错误识别漏洞类型的情况。

Mar, 2024

介绍了一种名为 garak 的框架，可以发现和识别目标大型语言模型或对话系统中的漏洞，从而为漏洞在不同背景下的构成、LLM 部署的对齐和政策讨论等提供了有根据的讨论。

Jun, 2024