大型语言模型在不同编程语言之间进行翻译的过程中变得越来越实用，但关键问题在于生成的代码是否准确。本文提出了第一种用于自动进行功能属性测试的代码翻译模型的方法，并探讨了基于属性的代码翻译模型搜索过程，结果显示该方法能够有效检测流行代码翻译模型中的属性违规并获得更好的代码翻译。

Sep, 2023

使用预训练的大型语言模型（LLMs）生成测试程序以优化设备的非功能性能。

Mar, 2024

通过基于语法树修剪的新型变异测试方法，验证机器翻译系统以提高准确性和可靠性；在 Google 翻译和 Bing 微软翻译中准确检测出 5073 和 5100 种错误翻译，比现有技术增加了 400%，错误翻译类型多样且大部分现有技术无法捕获，而新方法对原始句子的检测召回率达到 74.0%，平均比现有技术提高了 55.1%。

Jan, 2024

通过利用自动化单元测试系统过滤掉无效翻译从而创建一个完全测试的平行语料库，并利用这个过滤后的数据集对非监督模型进行微调，显著减少所产生的噪声，在 Java $ o$ Python 和 Python $ o$ C++ 方向上，与所有先前的最佳方法相比，分别取得了超过 16% 和 24% 的优异成绩，将错误率降低了超过 35%。

Oct, 2021

本研究提出 CodeBLEU 作为一种新的自动代码评估指标，它可通过 n-gram 匹配吸收 BLEU 的优点，并通过抽象语法树和数据流注入代码语法和语义，实现对三种代码合成任务的质量评估，结果表明，与 BLEU 和准确性相比，我们的提出的 CodeBLEU 可以更好地与程序员分配的分数相关联。

Sep, 2020

比较三种源代码摘要生成模型的定量和定性评估，揭示了基于度量的性能与模型预测错误之间关系的新洞见，并提供了摇号学习实验中可以用来推动未来研究工作的经验性错误分类学。

Jun, 2021

通过大型语言模型实现的往返翻译可用于自动程序修复，修正语法错误并还原代码中的常见模式，具有在软件工程研究中的潜力。

Jan, 2024

利用大型语言模型（LLMs）生成高质量代码的能力引起了软件测试界的广泛关注。本文介绍了一个大规模数据集 UniTSyn，用于提升 LLMs 在单元测试合成方面的能力。通过与被测试函数相关联的测试，UniTSyn 使 LLMs 能够推断预期行为和待验证的逻辑路径。通过基于 UniTSyn 构建自回归模型，实验证明在所有评估的编程语言中，学习和理解单元测试表征获得显著的效益，提高了生成准确性和代码覆盖率。

Feb, 2024

本篇论文通过构建 AST-Probe 探针方法，证明了预训练语言模型中存在一个语法子空间以及该子空间可以用来恢复一个输入代码片段的完整 AST，进而表明预训练语言模型仅使用一部分表示空间来编码编程语言的语法信息。

Jun, 2022

使用 AI 自动化构建证明导向的程序，我们提供了一个包含 600K 行开源 F * 程序和证明的数据集，通过 AI 进行程序和证明的综合，使用细调小型语言模型和类型检索增强技术取得有希望的结果，为未来改进提供了方向。

May, 2024