Jun, 2023

使用语言模型对脆弱测试修复类别进行黑盒预测

PDF
TL;DR论文提出一种基于机器学习的框架，通过对测试代码进行分析并使用语言模型 CodeBERT 和 UniXcoder，训练模型以预测问题的修复类别，提供快速准确的修复支持。实验结果表明，UniXcoder 可以比 CodeBERT 更准确地预测开发者应该应用的大部分修复类别。
flaky testsmachine learninglabeled datasetsfix categoriesunixcoder
发现论文，激发创造
  • FlaKat: 一个基于机器学习的一致性测试分类框架

    该研究提出了一个名为 FlaKat 的新分类框架，利用机器学习分类器快速准确地预测给定的易崩溃测试的类别，反映其根本原因，并提出了一种新的评估指标 FDC，用于从信息论的角度衡量分类器的准确性。最终的 FDC 结果与 F1 得分一致，确定了能够产生最佳易崩溃分类的分类器。

    Mar, 2024

  • 在游戏开发中利用大型语言模型进行高效的故障分析

    这篇论文提出了一种利用大型语言模型（LLMs）自动识别导致测试失败的代码更改的新方法，并通过定量和定性评估验证了该方法的有效性。通过 EA 开发者报告的问题进行的数据集评估结果显示，我们的方法在准确率上达到了 71％。此外，通过用户研究对我们的模型进行了评估，结果显示在开发者的视角下使用该工具可以显著减少问题调查所需的时间，最高可达 60％。

    Jun, 2024

  • DeepCode AI Fix: 用大型语言模型修复安全漏洞

    使用大型语言模型的程序修复任务中，通过降低训练数据量、使用代码剪裁技术及构建全面的代码修复数据集，我们的系统能够在更少的案例中准确匹配人工修复，并显著提升可用模型的性能。

    Feb, 2024

  • 面向无需测试的故障定位的大型语言模型

    采用大型语言模型进行故障定位，通过微调小批量双向适配器层，无需测试覆盖信息定位出有问题的代码行，追踪性能与语言模型的规模相关。

    Oct, 2023

  • 语言模型通过代码对分类成为更好的缺陷检测器

    大型语言模型能够通过代码生成和理解任务进行细粒度调整，而上下文学习技术在缺陷检测和修补中表现出色。本论文提出了代码对分类任务，其中模型接收有缺陷和无缺陷版本的代码对，从中识别出有缺陷的版本。实验证明，与判断代码片段中是否存在缺陷及其位置相比，大型语言模型更容易识别出有缺陷的代码对。

    Nov, 2023

  • 故障感知神经代码排序器

    该论文提出了一个名为 CodeRanker 的神经排序模型，可以预测采样生成程序的正确性和执行信息，从而提高各种代码生成模型的正确性。

    Jun, 2022

  • 通过神经机器翻译在野外学习修复错误补丁的实证研究

    通过挖掘 GitHub 上项目代码的变更历史记录，使用神经机器翻译技术进行修复漏洞的学习，设计并训练了一个 Encoder-Decoder 模型，可以在瞬间模仿各种不同的 AST 操作，并生成候选修复程序，可在实际环境中修复数以千计的独特故障方法，并预测出开发人员生成的固定补丁的 9-50%。

    Dec, 2018

  • 从自然语言问题描述生成功能正确的代码编辑

    本文提出了将自然语言编程描述翻译为正确代码修改的任务 NL2Fix，为此引入了包含高级 Bug 修复描述的 Defects4J-NL2Fix 数据集，并对多种最先进的 LLMs 进行了实证评估，结果表明这些 LLMs 能够对 64.6% 的错误生成合理的修复，并且最佳 LLM 技术在此基准测试中可以达到 21.20% 的 top-1 和 35.68% 的 top-5 精度。

    Apr, 2023

  • 使用预训练 Transformer 生成错误修复

    DeepDebug 是数据驱动的程序修复方法，其可以从 GitHub 代码库中挖掘的实际 Java 方法中学习检测和修复错误的方法。通过将错误修补构建为序列到序列的学习任务，它实现了两个步骤，即去噪预训练和有监督的微调。本方法显示出比以前的工作更好的异常检测能力，并且可以使用通用解析器进行语言无关的方法。

    Apr, 2021

  • 应用 CodeBERT 对 Java 简单缺陷进行自动化程序修复

    本文提出一种基于 CodeBERT 的自动化程序修复方法，使用 ManySStuBs4J 小和大数据集对模型进行微调，能够准确地预测开发人员在 19-72％的情况下实现修复代码，并可以在不到一秒钟的时间内自动生成修复程序。

    Mar, 2021