Oct, 2023

大语言模型时代的自动漏洞生成

PDF
TL;DR草案提出了 BugFarm，用于将任意代码转化为多个复杂的错误。BugFarm 利用 LLM（语言模型）在多个位置（难以修复）突变代码。为了确保多个修改不会显着改变代码的表示，BugFarm 分析了底层模型的注意力，并指示 LLMs 仅更改注意力最低的位置（难以检测）。我们对 BugFarm 生成的 320k + 错误进行了全面评估，这些错误是通过学习型错误预测方法难以检测到的，并且通过 SOTA（优秀的）学习型程序修复技术难以修复的。
发现论文，激发创造
  • 自监督式缺陷检测和修复

    BugLab 是一种基于机器学习的、自监督学习为主的程序分析方法，通过两个模型共同训练，可以有效地发现和修复代码中的错误，提高了 2374 个真实缺陷数据集的检测和修复准确度，同时发现了 19 个以前未知的错误。

    May, 2021

  • 大型语言模型在完成可能存在漏洞的代码上表现不佳

    介绍和研究有潜在 bug 的代码补全问题，引入两个数据集，发现潜在 bug 显著降低 Code-LLMs 的性能，调查了几种后处理方法，但效果有限。

    Jun, 2023

  • 使用预训练 Transformer 生成错误修复

    DeepDebug 是数据驱动的程序修复方法，其可以从 GitHub 代码库中挖掘的实际 Java 方法中学习检测和修复错误的方法。通过将错误修补构建为序列到序列的学习任务，它实现了两个步骤，即去噪预训练和有监督的微调。本方法显示出比以前的工作更好的异常检测能力，并且可以使用通用解析器进行语言无关的方法。

    Apr, 2021

  • Detect-Localize-Repair: 使用 CodeT5 学习调试的统一框架

    提出了一种基于预训练编程语言模型 CodeT5 的新型统一 “Detect-Localize-Repair” 框架 CodeT5-DLR，它包括三个目标，即 bug 检测、定位和程序修复，并在 Java 和 Python 的两个新收集的行级调试数据集上进行了评估。结果表明，该模型在 NLP 和软件工程领域的现有基线上显著优于其他机器学习方法。

    Nov, 2022

  • 大型语言模型生成代码中的错误

    这篇研究报告分析了使用三个主要大型语言模型（CodeGen、PanGu-Coder 和 Codex）生成的代码中的 333 个错误模式，并通过在线调查得到了 34 位使用大型语言模型的从业人员和研究人员对这些错误模式的重要性和普遍性的确认。研究人员和从业人员可以利用这些发现来开发有效的大型语言模型生成代码的质量保证技术。该研究揭示了大型语言模型生成代码的独特特征。

    Mar, 2024

  • DeepCode AI Fix: 用大型语言模型修复安全漏洞

    使用大型语言模型的程序修复任务中，通过降低训练数据量、使用代码剪裁技术及构建全面的代码修复数据集，我们的系统能够在更少的案例中准确匹配人工修复，并显著提升可用模型的性能。

    Feb, 2024

  • AutoCodeRover：自主程序改进

    提出了一种自动化的方法 AutoCodeRover，将 LLMs 与复杂的代码搜索能力相结合，从而实现对 Github 问题的自主解决，进而实现程序改进。

    Apr, 2024

  • 利用大型语言模型增强自动化代码漏洞修复

    研究致力于自动修复代码漏洞的复杂挑战，引入了一种新的代码修改表示格式，使用了先进的大型语言模型（如 Code Llama 和 Mistral）。这些模型在 C 代码漏洞数据集上进行了微调，显着提高了自动代码修复技术的准确性和适应性。研究还对当前的评估指标（如完美预测）进行了关键评估，并强调了在真实场景中反映自动修复模型真正能力的局限性。研究强调了在代码修复任务中提高 LLMs 效果的数据集完整性和训练样本缺失测试数据集的重要性。此工作对数字安全的贡献不仅体现在提高代码安全方面的潜力上，而且推动了这些关键领域的进一步探索与研究。

    Jan, 2024

  • 在游戏开发中利用大型语言模型进行高效的故障分析

    这篇论文提出了一种利用大型语言模型（LLMs）自动识别导致测试失败的代码更改的新方法，并通过定量和定性评估验证了该方法的有效性。通过 EA 开发者报告的问题进行的数据集评估结果显示，我们的方法在准确率上达到了 71％。此外，通过用户研究对我们的模型进行了评估，结果显示在开发者的视角下使用该工具可以显著减少问题调查所需的时间，最高可达 60％。

    Jun, 2024

  • 应用 CodeBERT 对 Java 简单缺陷进行自动化程序修复

    本文提出一种基于 CodeBERT 的自动化程序修复方法，使用 ManySStuBs4J 小和大数据集对模型进行微调，能够准确地预测开发人员在 19-72％的情况下实现修复代码，并可以在不到一秒钟的时间内自动生成修复程序。

    Mar, 2021