ConDefects: 解决基于 LLM 的故障定位和程序修复中的数据泄漏问题的新数据集

Oct, 2023

ConDefects: 解决基于 LLM 的故障定位和程序修复中的数据泄漏问题的新数据集

ConDefects: A New Dataset to Address the Data Leakage Concern for LLM-based Fault Localization and Program Repair

Yonghao Wu, Zheng Li, Jie M. Zhang, Yong Liu

TL;DR通过引入名为 ConDefects 的数据集，我们为故障定位和程序修复这两个任务的研究提供了一个全新的数据集，该数据集消除了已有广泛采用的基准测试中的重叠，并提供了包括 Java 和 Python 故障程序以及其修复版本在内的 1,254 个故障程序和 1,625 个故障程序。

Abstract

With the growing interest on large language models (LLMs) for fault localization and program repair, ensuring the integrity and generalizability of the LLM-based methods becomes paramount. The code in existing wi

large language models fault localization program repair condefects dataset

发现论文，激发创造

从自然语言问题描述生成功能正确的代码编辑

本文提出了将自然语言编程描述翻译为正确代码修改的任务 NL2Fix，为此引入了包含高级 Bug 修复描述的 Defects4J-NL2Fix 数据集，并对多种最先进的 LLMs 进行了实证评估，结果表明这些 LLMs 能够对 64.6% 的错误生成合理的修复，并且最佳 LLM 技术在此基准测试中可以达到 21.20% 的 top-1 和 35.68% 的 top-5 精度。

Apr, 2023

教育计划修复基准测试

为了促进竞争方法的公平比较和标准化，该研究提出了一个新颖的教育性程序修复基准，对两个高质量的编程数据集进行整理，引入一种新的评估度量指标 rouge@k 来评估修复质量，并评估了五种最近的模型以建立基础性能。

May, 2024

DeepCode AI Fix: 用大型语言模型修复安全漏洞

使用大型语言模型的程序修复任务中，通过降低训练数据量、使用代码剪裁技术及构建全面的代码修复数据集，我们的系统能够在更少的案例中准确匹配人工修复，并显著提升可用模型的性能。

Feb, 2024

FormAI 数据集：基于形式验证的软件安全生成式 AI

FormAI 数据集利用动态零 - shot 提示技术构建，包含 11.2 万个 AI 生成的可以编译和独立运行的 C 程序，按漏洞类型进行了分类，并采用 SMT-based Bounded Model Checker 方法进行了验证，检测出漏洞并提供反例，用于评估各种静态和动态分析工具的效果以及用于训练大型语言模型和机器学习算法。

Jul, 2023

一份 PCB 缺陷检测和分类数据集

本文提出了一种基于参考点的检测方法和一种卷积神经网络对缺陷进行分类的方式，并公开了一个包含 6 种缺陷的综合 PCB 数据集，该方法在数据集上表现出强大的性能。

Jan, 2019

面向无需测试的故障定位的大型语言模型

采用大型语言模型进行故障定位，通过微调小批量双向适配器层，无需测试覆盖信息定位出有问题的代码行，追踪性能与语言模型的规模相关。

Oct, 2023

利用大型语言模型增强自动化代码漏洞修复

研究致力于自动修复代码漏洞的复杂挑战，引入了一种新的代码修改表示格式，使用了先进的大型语言模型（如 Code Llama 和 Mistral）。这些模型在 C 代码漏洞数据集上进行了微调，显着提高了自动代码修复技术的准确性和适应性。研究还对当前的评估指标（如完美预测）进行了关键评估，并强调了在真实场景中反映自动修复模型真正能力的局限性。研究强调了在代码修复任务中提高 LLMs 效果的数据集完整性和训练样本缺失测试数据集的重要性。此工作对数字安全的贡献不仅体现在提高代码安全方面的潜力上，而且推动了这些关键领域的进一步探索与研究。

Jan, 2024

基于 PRISMA 的公开数据集系统性回顾：用于工业缺陷检测的基准与模型开发

近年来，质量控制领域不断利用视频摄像和图像处理集成来进行有效的缺陷检测。然而，开发和改进自动缺陷检测模型所需的带有注释缺陷的全面数据集稀缺，阻碍了进展。本系统性综述涵盖 2015 年至 2023 年，鉴别 15 个公开可用的数据集并对其进行关键评估，以评估其用于基准测试和模型开发的有效性和适用性。研究结果揭示了各种数据集的多样化情况，如 NEU-CLS，NEU-DET，DAGM，KolektorSDD，PCB Defect Dataset 和空心圆柱缺陷检测数据集，每个数据集在图像质量、缺陷类型表示和实际应用方面都有其独特的优势和局限性。本系统性综述的目标是将这些数据集整合到一个地方，为寻找此类公开可用资源的研究人员提供全面参考。

Jun, 2024

缺陷谱：拥有丰富语义的大规模缺陷数据集的细粒度分析

介绍一种称为 “Defect Spectrum” 的全面基准数据库，提供用于工业缺陷的精确、语义丰富和大规模的注释；同时引入名为 “Defect-Gen” 的两阶段扩散型生成器，可生成高质量和多样化的缺陷图像，显著提高缺陷检测模型的效果；该数据库在缺陷检测研究中具有巨大潜力，为测试和改进先进模型提供坚实的平台。

Oct, 2023

RunBugRun -- 一个用于自动程序修复的可执行数据集

通过提供一个可完全执行的、由 450,000 个错误 / 修复的代码对组成的数据集及其测试 / 编译基础设施和详细的 bug 类型标签，本文旨在促进神经程序修复技术向可执行代码表示转型，提高基于执行的特征的使用，并通过包括多种不同语言的数据集，平衡当前 Automated Program Repair 数据集和基准测试方向中 Java 语言的主导地位。

Apr, 2023