Dec, 2023

LLM4TDD：使用大型语言模型进行测试驱动开发的最佳实践

PDF
TL;DR使用测试驱动开发方法，将大型语言模型指导进行迭代式代码生成，以提高软件系统正确性的程序综合方法。通过在 ChatGPT 和 LeetCode 编码问题上进行实证评估，研究不同测试、提示和问题属性对 LLM4TDD 方法有效性的影响。
software systemsbuggy softwareprogram synthesislarge language modelstest-driven development methodology
发现论文，激发创造
  • 面向代码生成的测试驱动开发

    通过实验证明，在使用 GPT4 生成代码的过程中，使用 TDD 开发模型（即在给定问题描述之前先编写测试）比仅使用问题描述作为输入更好，并且在一系列实验中一致表现出 TDD 解决编程问题的能力比仅使用问题描述更强。

    Feb, 2024

  • 用于代码的大型语言模型的程序测试能力

    利用对最近的大型语言模型进行了代码测试的详尽分析，本研究展示了这些模型的一系列有趣性质，并展示了如何改进大型语言模型的程序测试能力，通过利用生成的测试用例来提高合成程序的质量，相较于 GPT-3.5-turbo 和最新的最先进技术，我们的方法在 HumanEval + 上的代码通过率分别提高了 11.77% 和 4.22%。

    Oct, 2023

  • 基于大语言模型的全自动编程

    本文探讨了使用 Large Language Models 进行程序合成时，实现 Synthesize，Execute，Debug 方法的方法，包括替换或修复故障程序，以及不同基于模板和基于模型的提示生成技术，取得了比传统方法更好的表现。

    Apr, 2023

  • 大型语言模型在行为驱动开发验收测试制定中的综合评估和见解

    提出一种使用大型语言模型来增强 BDD 实践的新方法，通过零样本和少样本提示评估 GPT-3.5、GPT-4 等 LLMs 的性能，旨在自动生成无错误的 BDD 验收测试，强调该方法对于支持协作 BDD 流程和未来自动化 BDD 验收测试生成的研究具有潜力。

    Mar, 2024

  • LLM4VV: 为编译器验证开发基于 LLM 的测试套件

    探索最新的大型语言模型在代码生成方面的能力，调查提示和微调方法，并分析大型语言模型生成测试的结果。

    Oct, 2023

  • 面向非功能属性生成系统级测试程序的大型语言模型

    使用预训练的大型语言模型（LLMs）生成测试程序以优化设备的非功能性能。

    Mar, 2024

  • 使用变形提示测试验证 LLM 生成的程序

    我们提出了一种称为变质提示测试的新颖解决方案，用于解决由大型语言模型生成的代码质量和正确性所引发的挑战，并在 HumanEval 评估中显示，该方法能够检测到由 GPT-4 生成的错误程序的 75％，误报率为 8.6％。

    Jun, 2024

  • LLM4DV：使用大型语言模型生成硬件测试刺激

    通过利用大型语言模型（LLM）的能力，本文提出了一种基于框架 LLM4DV 的创新性基准测试方法，该方法引入了与 LLM 互动产生测试刺激的提示模板，并提供了四种创新的提示改进来支持流水线执行，并进一步提高其性能。通过与传统的约束随机测试（CRT）进行比较，基于自行设计的三个被测试模块（DUT），实验证明 LLM4DV 能够有效处理直接的 DUT 情景，并利用其基本的数学推理和预训练的知识。尽管在复杂任务设置中其效率有所降低，但相对而言，它仍然优于 CRT。本文中提出的框架和实验中使用的 DUT 模块将在发表后进行开源。

    Oct, 2023

  • 使用大型语言模型构建测试用例的案例研究：揭示实践洞见与挑战

    本文通过详细的案例研究，探讨了在软件工程背景下，应用大型语言模型（LLMs）构建测试用例的方法。通过定性和定量分析，评估了 LLMs 对测试用例全面性、准确性和效率的影响，并讨论了模型可解释性、伦理考虑和适应不同软件环境的挑战。本研究的结果为软件测试领域中应用 LLMs 提供了实用性见解，旨在促进对 LLMs 在优化软件开发过程中作用的全面理解。

    Dec, 2023

  • 大型语言模型作为测试用例生成器：性能评估与增强

    使用大型语言模型（LLMs）生成高质量的测试用例是一个重要问题，目前的研究主要集中在改进代码生成过程中通过 LLMs 生成辅助测试用例的性能，而 LLMs 在仅生成测试用例方面的性能尚未全面研究。为了填补这一空白，本文通过大量实验研究了 LLMs 生成高质量测试用例的能力，并提出了一种名为 TestChain 的多代理框架，通过与 Python 解释器的交互提供更准确的测试输出，实验结果表明 TestChain 在测试用例准确性上明显优于基准模型，其中使用 GPT-4 作为基础的 TestChain 在 LeetCode-hard 数据集上相比基准模型改进了 13.84%。

    Apr, 2024