利用大型语言模型，本研究提出了 PropertyGPT 系统，该系统可以通过生成可编译、适当且可验证的自定义属性来检测代码缺陷和安全漏洞，实验结果显示其能够生成高质量的属性，相较于真实情况，其召回率达到 80％。

May, 2024

大型语言模型在不同编程语言之间进行翻译的过程中变得越来越实用，但关键问题在于生成的代码是否准确。本文提出了第一种用于自动进行功能属性测试的代码翻译模型的方法，并探讨了基于属性的代码翻译模型搜索过程，结果显示该方法能够有效检测流行代码翻译模型中的属性违规并获得更好的代码翻译。

Sep, 2023

使用预训练的大型语言模型（LLMs）生成测试程序以优化设备的非功能性能。

Mar, 2024

LangProp 是一个用于大型语言模型（LLMs）生成的代码的迭代优化框架，在监督 / 强化学习环境中使用。LangProp 自动评估代码在输入输出数据集上的性能，并捕获任何异常，然后将结果反馈给 LLM 以在训练循环中迭代改进生成的代码。这是自动驾驶的代码优化的第一个概念验证，表明 LangProp 能够生成可解释和透明的驾驶策略，可以在基于度量和数据的方式上进行验证和改进。

Jan, 2024

利用神经网络的数学定理证明、代码验证和自动化定理证明等领域的研究，提出了一个测试用例，旨在进一步发展形式验证代码的自动定理证明。

Jun, 2024

利用对最近的大型语言模型进行了代码测试的详尽分析，本研究展示了这些模型的一系列有趣性质，并展示了如何改进大型语言模型的程序测试能力，通过利用生成的测试用例来提高合成程序的质量，相较于 GPT-3.5-turbo 和最新的最先进技术，我们的方法在 HumanEval + 上的代码通过率分别提高了 11.77% 和 4.22%。

Oct, 2023

VISPROG 是一种神经符号方法，用于解决复杂和组合的视觉任务，所需的仅是自然语言指令，通过生成类似 Python 的模块化程序来实现，每行程序可以调用各种计算机视觉模型，图像处理算法或 Python 函数以产生中间输出，展示了其在 4 个不同的任务上的灵活性 。

Nov, 2022

本文介绍了一种利用组合范畴语法从自然语言生成可执行测试用例的方法，并且提出了一个原型系统，可以从英语描述中为基于属性的测试生成测试用例。

Feb, 2022

该研究使用大型语言和多模态模型，针对具备空间规划、基础编程和逻辑推理等不同技能要求的 Mini-level 任务，在 XLogoOnline 可视化编程环境下构建了一个新型的程序合成基准。通过使用大规模的合成训练数据集和模拟器驱动的反馈，开发了一个微调流程以提升模型的性能。研究表明，经过微调的 Llama3-8B 模型在不同技能维度上显著优于 GPT-4V 和 Llama3-70B 模型，并提供了对模型在不同技能维度上的专业知识的深入分析。该研究将公开发布该基准，以促进未来在可视化编程的程序合成领域的研究。

Jun, 2024

通过自我完善方法，在没有人工介入和测试用例的情况下，通过针对初始代码中的特定节点使用目标验证问题（VQs），提高 LLM 生成代码的可靠性，并通过针对特定的 VQs 和初始代码重新提示 LLM 来修复潜在的漏洞。评估结果表明，我们的方法优于现有方法，减少了代码中目标错误的数量达到 21% 至 62%，同时提高了可执行代码实例的数量达到 13%。

May, 2024