大型语言模型（LLMs）在代码生成方面取得了显著进展，但它们的训练使用了来自开源代码库（如 GitHub）的未经筛选的数据，存在意外传播安全漏洞的风险。为了有效地减轻这一问题，本文从软件安全的角度对代码 LLMs 进行了全面研究，并提出了 SecuCoGen 数据集，用于评估和增强代码 LLMs 的安全性能。研究结果发现，现有模型在代码生成中经常忽视安全问题，提出了有效的方法来解决安全漏洞，并提高代码的整体稳健性。此外，研究还发现现有模型在修复漏洞代码方面存在问题，并且某些漏洞类型对模型构成挑战。基于这些发现，我们相信本研究将对软件工程社区产生积极影响，激发改进 LLMs 训练和使用方法的开发，从而实现更安全、更可信的模型部署。

Oct, 2023

通过对 AI 程序员 GitHub Copilot 生成代码中的高危漏洞相关场景的系统研究，我们发现了 40% 的代码是存在漏洞的，这造成了对代码安全性的重大担忧。

Aug, 2021

提出并评估了三种 Prompt 修改方法，并在实际场景中使用 OpenVPN 项目对 GitHub Copilot 的有效性进行了评估，结果表明这些方法可减少不安全的生成代码样本的数量高达 16％，增加安全代码的数量高达 8％。

Mar, 2024

我们引入了一种多用途的代码漏洞分析系统 SecRepair，由一个大型语言模型 CodeGen2 提供支持，帮助开发人员识别和生成修复后的代码，并附带一个完整的漏洞描述和代码评论。我们的创新方法利用增强学习范式来生成由语义奖励机制增强的代码评论。研究结果强调，将增强学习与语义奖励结合起来，提高了模型在处理代码漏洞方面的能力和效果。

Jan, 2024

大规模语言模型（LLMs）在代码生成和修复方面取得了重大进展，但它们使用来自 GitHub 等开源存储库的未经过滤的数据进行训练可能会传播安全漏洞。本文旨在全面评估和增强代码 LLMs 的安全性，并提出了不同策略来减轻这些安全漏洞。

Jul, 2024

基于人工智能的代码生成器在帮助开发人员从自然语言中编写软件方面起到了重要作用。本文提出了一种新颖的数据污染攻击，其影响是生成易受攻击的代码。我们对这些攻击对代码生成的最新模型的影响进行了广泛评估，并讨论了潜在的解决方案。

Mar, 2024

本文研究了神经代码搜索模型的安全性，在已有的在线代码库中，攻击者可以注入有漏洞的代码片段并使其在搜索结果中排名较高，进而影响到软件系统的正常运行并带来潜在的财务和安全风险。作者提出了一种名为 BADCODE 的攻击方式，并对其进行了测试和评估，结果表明该攻击的成功率比现有的攻击方式高出了 60%。

May, 2023

本文探究了现有代码生成系统中基于大型语言模型的偏见在特定情况下可能泄漏到生成代码中的问题，提出了一种自动消除提示并暴露各种偏见的框架，并将其应用于三个编码挑战中测试，发现代码生成模型存在特定提示结构和关键字的偏见，最后，我们展示了如何将我们的框架作为数据转换技术，这是更强大的代码生成方向。

Oct, 2022

通过三层防御机制，本研究调查了对大型语言模型的黑盒攻击方法，分析了这些攻击所带来的挑战和重要性，评估了现有攻击和防御方法的有效性和适用性，并特别关注了黑盒攻击的检测算法，用于识别语言模型中的危险漏洞和获取敏感信息，提出了一种对大型语言模型进行黑盒攻击的漏洞检测方法和防御策略的开发。

Jun, 2024

利用机器学习和深度神经网络，针对 C++ 程序开发了一种基于数据驱动的漏洞检测方法，研究结果表明结合源代码和神经网络特征，可以获得更可靠的漏洞检测结果，最高检测能力达到 0.87。

Feb, 2018