Sep, 2023

自动测试代码转换模型的功能属性

PDF
TL;DR大型语言模型在不同编程语言之间进行翻译的过程中变得越来越实用，但关键问题在于生成的代码是否准确。本文提出了第一种用于自动进行功能属性测试的代码翻译模型的方法，并探讨了基于属性的代码翻译模型搜索过程，结果显示该方法能够有效检测流行代码翻译模型中的属性违规并获得更好的代码翻译。
large language modelstranspilingautomated testingcode translation modelsproperty-guided search procedure
发现论文，激发创造
  • PropTest：自动性质测试以改进视觉编程

    通过使用大型语言模型，我们提出了 PropTest 策略来改进可视化编程，这一策略可生成用于测试可视化属性的代码解决方案，提高可视化推理任务的性能和泛化能力。

    Mar, 2024

  • 面向非功能属性生成系统级测试程序的大型语言模型

    使用预训练的大型语言模型（LLMs）生成测试程序以优化设备的非功能性能。

    Mar, 2024

  • 自然语言中基于属性的测试探索

    本文介绍了一种利用组合范畴语法从自然语言生成可执行测试用例的方法，并且提出了一个原型系统，可以从英语描述中为基于属性的测试生成测试用例。

    Feb, 2022

  • SUT: 转换器模型的主动缺陷探测

    自动程序翻译具有巨大的应用价值，但当前的翻译模型在基本的语法错误方面仍存在问题。本论文介绍了针对编程语言翻译的新指标和一套包括高度可解释的评估工具的测试套件，实验证明即使是像 ChatGPT 这样强大的模型在基本单元测试上也存在错误。

    Oct, 2023

  • 利用自动化单元测试进行无监督代码转换

    通过利用自动化单元测试系统过滤掉无效翻译从而创建一个完全测试的平行语料库，并利用这个过滤后的数据集对非监督模型进行微调，显著减少所产生的噪声，在 Java $ o$ Python 和 Python $ o$ C++ 方向上，与所有先前的最佳方法相比，分别取得了超过 16% 和 24% 的优异成绩，将错误率降低了超过 35%。

    Oct, 2021

  • 使用代码模型和领域适应生成自动化测试用例

    使用 Transformer-based 代码模型，提出完全自动化的测试框架，能够生成可编译和可读的单元测试，可以补充搜索 - based 测试生成的测试，并且能够覆盖开发人员编写测试中未覆盖的代码行。

    Aug, 2023

  • 程序翻译通过代码提取

    在本文中，我们提出了一种名为 Code Distillation（CoDist）的新模型，通过捕捉代码的语义和结构等价性，在语言不可知的中间表示中翻译代码，并通过构造并应用蒸馏编译器实现针对任何编程语言的并行语料库，从而在 CodeXGLUE 和 TransCoder GeeksForGeeks 翻译基准测试上实现了最新的性能，与 TransCoder-ST 相比，在 TransCoder GeeksforGeeks 翻译基准测试上平均绝对增加了 12.7%。

    Oct, 2023

  • 探索和释放大型语言模型在自动代码翻译中的潜力

    LLMs 和基于学习的转译器在自动代码转换任务中取得了显著的性能提升，但当前仍存在一些准确性问题和资源限制。本研究发现，大部分失败源于对源程序的理解不足、在转换中缺少清晰的 I/O 类型指令以及源程序与目标程序之间的差异被忽略。鉴于以上研究结果，我们提出了 UniTrans，一个适用于多种 LLMs 的统一代码转换框架，通过生成测试用例、自动增强转换并验证正确性的执行过程，进一步修复转换错误。在 Python、Java 和 C++ 之间的六个转换数据集上进行了大量实验，三个最近的 LLMs 通过 UniTrans 实现了大幅度的改进。

    Apr, 2024

  • 基于大型语言模型的多语言代码协同演化

    使用大语言模型（LLMs），将代码更改从一种编程语言翻译成另一种编程语言，通过设计和实现名为 Codeditor 的第一个 LLM，我们发现它在所有常用的自动指标上都大幅超越了现有的方法，并且与现有的生成模型配合使用可以获得更好的性能。

    Jul, 2023

  • 探索输出格式对代码翻译的大型语言模型评估的影响

    代码翻译的大语言模型综合评估以及通过策略组合和正则表达式提取源代码的研究结果揭示了代码翻译的实际性能和未来研究方向。

    Mar, 2024