通过研究使用大型语言模型（LLMs）在代码审查中的作用，其中包括检测安全漏洞和验证软件功能的有效性，本文发现大型专有模型在这些任务上的性能显著优于小型开源模型，并证明了 LLMs 能够生成与真实漏洞相关的详细描述。

Mar, 2024

大型语言模型在漏洞检测方面的推理能力较差，常出现错误定位漏洞代码和错误识别漏洞类型的情况。

Mar, 2024

通过实验发现，一些 LLM 在漏洞检测方面超越传统深度学习方法，揭示了 LLM 在加强软件安全方面的潜力。

Nov, 2023

我们提出了一个名为 LLM4Vuln 的统一评估框架，通过将 LLMs 的漏洞推理能力与其他能力进行分离，并评估结合其他能力的方式来增强 LLMs 的漏洞推理能力。在使用 75 个经过广泛审计的智能合约漏洞进行控制实验的基础上，我们测试了三个代表性的 LLMs（GPT-4，Mixtral 和 Code Llama）在 4950 种不同场景下的表现。我们的结果不仅揭示了关于知识增强、上下文补充、提示方案和模型的变化效果的十个发现，还使我们能够在两个试点的漏洞赏金计划中发现 9 个零日漏洞，并颁发了超过 1,000 美元的奖励。

Jan, 2024

大型语言模型在网络安全领域的应用综述，包括漏洞检测、恶意软件分析、数据隐私等问题，指出了数据集大小与多样性的重要性以及未来研究方向。

May, 2024

大型语言模型在最近几年取得了迅猛的进展，其能力正在不断加速，通过各种基准测试，其能力接近于人类的水平。由于存在未解决的脆弱性和限制，人们在将这些模型应用于智能和安全关键应用之前需要谨慎。本文回顾了与 LLM 评估和脆弱性相关的最新文献，综合当前的研究进展，并帮助了解哪些进步对于在智能和安全关键应用中使用这些技术最为关键。这些脆弱性被分为十个高级类别，并与 LLM 的一个高级生命周期进行了叠加。还对一些常见的缓解措施进行了综述。

Dec, 2023

大规模语言模型 (LLM) 在检测安卓应用的漏洞方面表现出色，通过构建基于人工智能的工作流，能够帮助开发者识别和修复漏洞，并展示其有效性。实验证明，LLMs 在 Ghera 基准测试中能够准确标记不安全应用的案例达到 91.67%。此外，我们的实验还揭示了不同配置对真正阳性（TP）和假阳性（FP）率的影响。

Jan, 2024

通过模拟用户与大型语言模型的交互，提出了一种增强网络安全的方法，包括全面的元宇宙网络安全问答和攻击模拟场景，以帮助用户认识和抵御风险，并通过扩展训练来理解个性化输入和表情符号等用户内容，验证了该方法的有效性。

Dec, 2023

使用静态代码分析工具 Bandit 的反馈驱动解决方案综合（FDSS）对大型语言模型（LLMs）进行改进，通过与 LLMs 交互生成潜在解决方案来修复安全漏洞，该方法在基准测试中显著改善并超过现有方法，并引入了新的 PythonSecurityEval 数据集进行评估。

Nov, 2023

大型语言模型在软件工程领域产生了广泛影响，但研究人员需要注意潜在的实验结果影响因素，包括封闭源模型、数据泄露以及 LLM 研究结果的可重复性等。本文提出了一套旨在解决这些问题的针对软件工程研究人员和语言模型提供者的指南，并通过现有的最佳实践和测试用例生成的实际例子来说明其影响。

Dec, 2023