Apr, 2021

使用预训练 Transformer 生成错误修复

PDF
TL;DRDeepDebug 是数据驱动的程序修复方法，其可以从 GitHub 代码库中挖掘的实际 Java 方法中学习检测和修复错误的方法。通过将错误修补构建为序列到序列的学习任务，它实现了两个步骤，即去噪预训练和有监督的微调。本方法显示出比以前的工作更好的异常检测能力，并且可以使用通用解析器进行语言无关的方法。
deepdebugbug detectionprogram repairgithub repositoriessequence-to-sequence learning
发现论文，激发创造
  • DeepDebug: 使用堆栈跟踪、回译和代码框架修复 Python 错误

    DeepDebug 是一种使用大型预训练变压器的自动调试方法，可通过训练反转的提交数据来生成人工合成缺陷，并通过将这些缺陷应用于功能测试，提供调试信息并改进模型的预训练，并在 QuixBugs 测试中取得良好成果。

    May, 2021

  • 通过神经机器翻译在野外学习修复错误补丁的实证研究

    通过挖掘 GitHub 上项目代码的变更历史记录，使用神经机器翻译技术进行修复漏洞的学习，设计并训练了一个 Encoder-Decoder 模型，可以在瞬间模仿各种不同的 AST 操作，并生成候选修复程序，可在实际环境中修复数以千计的独特故障方法，并预测出开发人员生成的固定补丁的 9-50%。

    Dec, 2018

  • DeepBugs: 一种基于命名的缺陷检测学习方法

    本文介绍了一种基于 DeepBugs 的学习方法，结合了自然语言元素和语义表示进行代码中的错误检测，并通过简单的代码转换生成了可能的错误代码示例，应用该方法到 150,000 个 JavaScript 文件中，获得了高准确率的错误检测结果。

    Apr, 2018

  • 应用 CodeBERT 对 Java 简单缺陷进行自动化程序修复

    本文提出一种基于 CodeBERT 的自动化程序修复方法，使用 ManySStuBs4J 小和大数据集对模型进行微调，能够准确地预测开发人员在 19-72％的情况下实现修复代码，并可以在不到一秒钟的时间内自动生成修复程序。

    Mar, 2021

  • Detect-Localize-Repair: 使用 CodeT5 学习调试的统一框架

    提出了一种基于预训练编程语言模型 CodeT5 的新型统一 “Detect-Localize-Repair” 框架 CodeT5-DLR，它包括三个目标，即 bug 检测、定位和程序修复，并在 Java 和 Python 的两个新收集的行级调试数据集上进行了评估。结果表明，该模型在 NLP 和软件工程领域的现有基线上显著优于其他机器学习方法。

    Nov, 2022

  • 基于 Transformer 的神经文本表示技术在错误分配中的比较研究

    本研究通过使用 DeBERTa 技术，对 53 年的开源数据集进行了自动故障调整的任务进行了量化和定性分析，结果表明 DeBERTa 是在开发者和组件分配等任务中最有效的技术。

    Oct, 2023

  • 编程语言和自然语言的对齐：探索多模态变换器嵌入在缺陷定位中的设计选择

    通过评估 14 个不同的嵌入模型并开发相应的漏洞定位模型，我们的研究表明，预训练策略显著影响嵌入质量，并且嵌入模型对数据的熟悉程度对漏洞定位模型的性能有着显著影响。当训练数据和测试数据来自不同的项目时，漏洞定位模型的性能会出现大幅波动。

    Jun, 2024

  • 自监督式缺陷检测和修复

    BugLab 是一种基于机器学习的、自监督学习为主的程序分析方法，通过两个模型共同训练，可以有效地发现和修复代码中的错误，提高了 2374 个真实缺陷数据集的检测和修复准确度，同时发现了 19 个以前未知的错误。

    May, 2021

  • DeepTriage: 探索深度学习在漏洞分配中的有效性

    利用基于注意力机制的双向循环神经网络方法提取软件故障报告中的句法和语义特征，并通过无监督学习进行调试人员分类，验证实验表明该方法相比传统的 BOW 模型和机器学习方法在排名前 10 的准确度上有所提升。

    Jan, 2018

  • 大语言模型时代的自动漏洞生成

    草案提出了 BugFarm，用于将任意代码转化为多个复杂的错误。BugFarm 利用 LLM（语言模型）在多个位置（难以修复）突变代码。为了确保多个修改不会显着改变代码的表示，BugFarm 分析了底层模型的注意力，并指示 LLMs 仅更改注意力最低的位置（难以检测）。我们对 BugFarm 生成的 320k + 错误进行了全面评估，这些错误是通过学习型错误预测方法难以检测到的，并且通过 SOTA（优秀的）学习型程序修复技术难以修复的。

    Oct, 2023