EMNLPNov, 2023

利用少样本情境学习生成税务软件的变形规范的潜力和限制

PDF
TL;DR该研究通过对大型语言模型的上下文学习进行系统分析，旨在自动化生成税务准备软件的变态规范，从而解决税法复杂性和测试的问题。
income tax lawstax softwaremetamorphic testingirs tax publicationsmetamorphic specifications
发现论文，激发创造
  • 使用变形提示测试验证 LLM 生成的程序

    我们提出了一种称为变质提示测试的新颖解决方案，用于解决由大型语言模型生成的代码质量和正确性所引发的挑战，并在 HumanEval 评估中显示，该方法能够检测到由 GPT-4 生成的错误程序的 75％，误报率为 8.6％。

    Jun, 2024

  • METAL: 大型语言模型质量分析的变形测试框架

    大型语言模型（LLMs）已经改变了自然语言数据处理的范式。我们提出了一个名为 METAL 的框架，用于通过应用变异测试技术对 LLM 的质量进行系统测试，并引入了新的度量方法来准确评估 Metamorphic Relations（MRs）的有效性，从而有效评估了主要 LLM 任务的关键质量属性并揭示了 LLM 中的质量风险。

    Dec, 2023

  • 基于变异的一致性测试用于评估 LLMs 的代码理解能力

    我们提出了一种评估 Large Language Models（LLMs）代码理解性能的新方法，通过引入代码变异来检测 LLMs 对代码和自然语言描述之间微妙差异的能力，并在各种代码变异和编程语言上对两个常见的 LLMs 进行了案例研究，发现它们在代码理解性能上存在显著的差异。

    Jan, 2024

  • 面向非功能属性生成系统级测试程序的大型语言模型

    使用预训练的大型语言模型（LLMs）生成测试程序以优化设备的非功能性能。

    Mar, 2024

  • 用于语义缓存测试输入生成的 LLM

    LLMs 被用于测试输入生成以及语义应用，并探讨了语义缓存技术的相关问题和考虑事项。

    Jan, 2024

  • 大型语言模型系统的风险分类、缓解和评估基准

    通过探索大型语言模型系统的四个关键模块，即接收提示的输入模块，基于丰富语料库的语言模型，用于开发和部署的工具链模块以及生成语言模型内容的输出模块，本文提出了一种综合分类方法，系统分析了每个模块可能涉及的潜在风险，并讨论了相应的缓解策略。此外，我们还回顾了流行基准以促进大型语言模型系统的风险评估。希望本文能帮助大型语言模型参与者从系统角度构建负责任的系统。

    Jan, 2024

  • LLM4TDD：使用大型语言模型进行测试驱动开发的最佳实践

    使用测试驱动开发方法，将大型语言模型指导进行迭代式代码生成，以提高软件系统正确性的程序综合方法。通过在 ChatGPT 和 LeetCode 编码问题上进行实证评估，研究不同测试、提示和问题属性对 LLM4TDD 方法有效性的影响。

    Dec, 2023

  • 从自然语言到代码：利用数据进行程序合成

    本文提出了一种利用输入数据对候选程序程序进行语义重新排序，并结合高低温度混合的技术，能够有效提升在数据操作领域中使用大型语言模型生成正确程序的准确性。

    May, 2023

  • LLM4VV: 为编译器验证开发基于 LLM 的测试套件

    探索最新的大型语言模型在代码生成方面的能力，调查提示和微调方法，并分析大型语言模型生成测试的结果。

    Oct, 2023

  • 用于代码的大型语言模型的程序测试能力

    利用对最近的大型语言模型进行了代码测试的详尽分析，本研究展示了这些模型的一系列有趣性质，并展示了如何改进大型语言模型的程序测试能力，通过利用生成的测试用例来提高合成程序的质量，相较于 GPT-3.5-turbo 和最新的最先进技术，我们的方法在 HumanEval + 上的代码通过率分别提高了 11.77% 和 4.22%。

    Oct, 2023