本文首次研究并比较了基于大型代码语言模型和基于深度学习的自动化程序修复技术在Java漏洞修复方面的能力，结果表明现有的语言模型和程序修复技术修复的Java漏洞很少，呼吁创新提高Java漏洞修复的自动化程度。

May, 2023

大型语言模型（LLMs）在代码生成方面取得了显著进展，但它们的训练使用了来自开源代码库（如GitHub）的未经筛选的数据，存在意外传播安全漏洞的风险。为了有效地减轻这一问题，本文从软件安全的角度对代码LLMs进行了全面研究，并提出了SecuCoGen数据集，用于评估和增强代码LLMs的安全性能。研究结果发现，现有模型在代码生成中经常忽视安全问题，提出了有效的方法来解决安全漏洞，并提高代码的整体稳健性。此外，研究还发现现有模型在修复漏洞代码方面存在问题，并且某些漏洞类型对模型构成挑战。基于这些发现，我们相信本研究将对软件工程社区产生积极影响，激发改进LLMs训练和使用方法的开发，从而实现更安全、更可信的模型部署。

Oct, 2023

我们引入了一种多用途的代码漏洞分析系统SecRepair，由一个大型语言模型CodeGen2提供支持，帮助开发人员识别和生成修复后的代码，并附带一个完整的漏洞描述和代码评论。我们的创新方法利用增强学习范式来生成由语义奖励机制增强的代码评论。研究结果强调，将增强学习与语义奖励结合起来，提高了模型在处理代码漏洞方面的能力和效果。

Jan, 2024

研究致力于自动修复代码漏洞的复杂挑战，引入了一种新的代码修改表示格式，使用了先进的大型语言模型（如Code Llama和Mistral）。这些模型在C代码漏洞数据集上进行了微调，显着提高了自动代码修复技术的准确性和适应性。研究还对当前的评估指标（如完美预测）进行了关键评估，并强调了在真实场景中反映自动修复模型真正能力的局限性。研究强调了在代码修复任务中提高LLMs效果的数据集完整性和训练样本缺失测试数据集的重要性。此工作对数字安全的贡献不仅体现在提高代码安全方面的潜力上，而且推动了这些关键领域的进一步探索与研究。

Jan, 2024

为了加强和增强通过Large Language Models生成的代码的安全性，在本文中，我们提出了一种基于强化学习的程序特定修复方法，结合语义和句法奖励机制，重点关注在代码中增加安全和功能性措施。

Jan, 2024

利用大型语言模型（LLM）构建用于软件渗透测试的人工智能代理，通过反复使用和提示工程来提高模型性能。

Jan, 2024

使用大型语言模型的程序修复任务中，通过降低训练数据量、使用代码剪裁技术及构建全面的代码修复数据集，我们的系统能够在更少的案例中准确匹配人工修复，并显著提升可用模型的性能。

Feb, 2024

大规模语言模型（LLMs）在代码生成和修复方面取得了重大进展，但它们使用来自GitHub等开源存储库的未经过滤的数据进行训练可能会传播安全漏洞。本文旨在全面评估和增强代码LLMs的安全性，并提出了不同策略来减轻这些安全漏洞。

Jul, 2024

本研究针对大型语言模型（LLMs）在软件开发中生成安全代码的能力进行了系统调查，发现其缺乏对场景相关安全风险的意识，导致生成的代码中超过75%存在漏洞。此外，虽然LLMs能在一定程度上修复不安全的代码，但在修复自身生成的代码时表现不佳。为此，研究提出了一种轻量级工具，通过迭代修复程序显著提高了代码修复的成功率。

Aug, 2024

本研究解决了大语言模型生成代码中存在的严重安全漏洞问题。提出的HexaCoder方法通过自动合成安全代码，显著降低了寻找合适训练数据的工作量，并通过引导数据合成和双步骤生成过程，成功将生成的易受攻击代码减少了高达85%。该研究的成果不仅提高了生成代码的安全性，还确保了功能上的正确性。

Sep, 2024