Mar, 2024

面向非功能属性生成系统级测试程序的大型语言模型

PDF
TL;DR使用预训练的大型语言模型（LLMs）生成测试程序以优化设备的非功能性能。
system-level testtest program generationnon-functional propertieslarge language modelspre-trained llms
发现论文，激发创造
  • LLM4TDD：使用大型语言模型进行测试驱动开发的最佳实践

    使用测试驱动开发方法，将大型语言模型指导进行迭代式代码生成，以提高软件系统正确性的程序综合方法。通过在 ChatGPT 和 LeetCode 编码问题上进行实证评估，研究不同测试、提示和问题属性对 LLM4TDD 方法有效性的影响。

    Dec, 2023

  • LLM4DV：使用大型语言模型生成硬件测试刺激

    通过利用大型语言模型（LLM）的能力，本文提出了一种基于框架 LLM4DV 的创新性基准测试方法，该方法引入了与 LLM 互动产生测试刺激的提示模板，并提供了四种创新的提示改进来支持流水线执行，并进一步提高其性能。通过与传统的约束随机测试（CRT）进行比较，基于自行设计的三个被测试模块（DUT），实验证明 LLM4DV 能够有效处理直接的 DUT 情景，并利用其基本的数学推理和预训练的知识。尽管在复杂任务设置中其效率有所降低，但相对而言，它仍然优于 CRT。本文中提出的框架和实验中使用的 DUT 模块将在发表后进行开源。

    Oct, 2023

  • 用于代码的大型语言模型的程序测试能力

    利用对最近的大型语言模型进行了代码测试的详尽分析，本研究展示了这些模型的一系列有趣性质，并展示了如何改进大型语言模型的程序测试能力，通过利用生成的测试用例来提高合成程序的质量，相较于 GPT-3.5-turbo 和最新的最先进技术，我们的方法在 HumanEval + 上的代码通过率分别提高了 11.77% 和 4.22%。

    Oct, 2023

  • 评估面向硬件设计和测试的 LLMs

    该研究使用八个代表性基准测试探究了领先技术的对话式大型语言模型在功能和验证目的上生成 Verilog 的能力和限制。结果表明，大型语言模型在硬件模块的设计和测试中具有潜力，并可朝着全自动数字设计流程的进展迈进。

    Apr, 2024

  • 基于大语言模型的全自动编程

    本文探讨了使用 Large Language Models 进行程序合成时，实现 Synthesize，Execute，Debug 方法的方法，包括替换或修复故障程序，以及不同基于模板和基于模型的提示生成技术，取得了比传统方法更好的表现。

    Apr, 2023

  • PropTest：自动性质测试以改进视觉编程

    通过使用大型语言模型，我们提出了 PropTest 策略来改进可视化编程，这一策略可生成用于测试可视化属性的代码解决方案，提高可视化推理任务的性能和泛化能力。

    Mar, 2024

  • AssertionBench: 用于评估大语言模型的断言生成基准

    使用大型语言模型（LLMs）生成断言的有效性和适用性的定量评估。

    Jun, 2024

  • 自动测试代码转换模型的功能属性

    大型语言模型在不同编程语言之间进行翻译的过程中变得越来越实用，但关键问题在于生成的代码是否准确。本文提出了第一种用于自动进行功能属性测试的代码翻译模型的方法，并探讨了基于属性的代码翻译模型搜索过程，结果显示该方法能够有效检测流行代码翻译模型中的属性违规并获得更好的代码翻译。

    Sep, 2023

  • 使用大型语言模型构建测试用例的案例研究：揭示实践洞见与挑战

    本文通过详细的案例研究，探讨了在软件工程背景下，应用大型语言模型（LLMs）构建测试用例的方法。通过定性和定量分析，评估了 LLMs 对测试用例全面性、准确性和效率的影响，并讨论了模型可解释性、伦理考虑和适应不同软件环境的挑战。本研究的结果为软件测试领域中应用 LLMs 提供了实用性见解，旨在促进对 LLMs 在优化软件开发过程中作用的全面理解。

    Dec, 2023

  • RTLLM: 基于大型语言模型的设计 RTL 生成的开源基准

    我们提出了一个名为 RTLLM 的开源基准，用于生成具有自然语言指令的设计 RTL，并使用一个名为 self-planning 的易于使用但效果显著的提示工程技术来提高 GPT-3.5 在我们提出的基准中的性能。

    Aug, 2023