本研究比较分析了最先进的大型语言模型（LLMs），研究了它们使用中性的零 - shot 提示来编写简单 C 程序时生成漏洞的可能性。通过引入 FormAI-v2 数据集，该研究扩展了之前的工作，并包含了使用各种 LLMs 生成的 265,000 个可编译的 C 程序。研究揭示了至少 63.47％的生成程序存在漏洞，并提醒在生产环境中使用 LLMs 生成的代码时需要进行风险评估和验证。

Apr, 2024

该研究针对以大型语言模型（LLMs）为动力的再生人工智能（AI）中，用 SystemVerilog 编写的硬件设计的 CWE 进行了形式验证。研究发现，大多数 LLMs 在生成硬件代码时并不知道任何硬件 CWE，因此未考虑其安全风险。该研究揭示了由 LLMs 生成的硬件设计约 60% 存在 CWE 风险，并提供了一个数据集，可用于训练 LLMs 和机器学习算法避免生成 CWE 风险的硬件设计。

Mar, 2024

下一代 AI 系统需要强有力的安全保证。本报告研究了神经网络和相关内存安全性质的软件实现，包括空指针引用、越界访问、double-free 和内存泄漏。我们旨在检测这些漏洞，并借助大型语言模型自动修复它们。为此，我们首先通过程序突变的自动化过程，将现有的神经网络代码数据集 NeuroCodeBench 的规模扩大到约 81k 个程序。然后，我们使用最先进的软件验证器 ESBMC 验证突变的神经网络实现的内存安全性。每当 ESBMC 发现漏洞时，我们会调用一个大型语言模型来修复源代码。在最新的任务中，我们比较了各种最先进的提示工程技术，以及重复调用大型语言模型的迭代方法的性能。

May, 2024

该研究论文介绍了一个专门设计用于提高大型语言模型在解释和生成 Coq 代码方面能力的全面数据集，通过亦包含源引用和许可信息的数千个 Coq 源代码文件，初步实验表明使用该数据集训练的模型在 Coq 代码生成方面具有显著的潜力。

Mar, 2024

该研究通过分析一组包含 2,500 个小型动态 PHP 网站的数据集，全面检查了大型语言模型生成的 Web 应用程序代码安全性。评估了这些部署为独立网站的人工智能生成网站中的安全漏洞，并采用了 Burp Suite 主动扫描器、静态分析和手动检查的混合方法。研究重点在于识别和分析文件上传、SQL 注入、存储型 XSS 和反射型 XSS。该研究不仅凸显了 AI 生成的 PHP 代码存在的潜在安全缺陷，还对在实际场景中部署此类代码的可靠性和安全性问题提出了批判性观点。该研究确认了 27% 的由 GPT-4 生成的程序在 PHP 代码中存在漏洞，并且这个数字可能更高，这对软件的安全性构成了重大风险。为了为研究界做出贡献并促进进一步的分析，我们公开了源代码，并列举了每个样本检测到的漏洞。该研究不仅揭示了 AI 生成代码的安全方面，也强调了对此类技术进行严格测试和评估的迫切性。

Apr, 2024

利用大型语言模型和形式验证策略结合的新颖解决方案，自动检测和修复 C 程序中的软件漏洞，成功率高达 80％。

May, 2023

将 ChatGPT 生成的代码与 StackOverflow 的代码进行比较，发现 ChatGPT 生成的代码存在较少的漏洞和较少的常见弱点枚举类型，结果表明开发人员对于两个平台的代码传播存在不安全的认识，需要采取良好的软件工程实践来降低风险。

Mar, 2024

本文介绍了一种名为 ChatFuzz 的灰盒模糊测试工具，它利用生成式人工智能生成特定格式的输入，以提高输入测试质量和覆盖范围，实验结果表明在特定情况下，该工具能比当前最先进的 AFL++ 模糊测试工具更好地检测程序漏洞。

Jun, 2023

利用机器学习和深度神经网络，针对 C++ 程序开发了一种基于数据驱动的漏洞检测方法，研究结果表明结合源代码和神经网络特征，可以获得更可靠的漏洞检测结果，最高检测能力达到 0.87。

Feb, 2018

使用 AI 自动化构建证明导向的程序，我们提供了一个包含 600K 行开源 F * 程序和证明的数据集，通过 AI 进行程序和证明的综合，使用细调小型语言模型和类型检索增强技术取得有希望的结果，为未来改进提供了方向。

May, 2024