TestPilot 是一个利用大语言模型的适应性测试生成技术，可以自动为给定的程序生成单元测试，以帮助确保软件的正确性。用户只需提供函数的特征和实现方法，再提取阅读文档，如果测试失败，则TestPilot的自适应组件尝试生成新的测试。在25个npm软件包上的实验表明，TestPilot生成的测试达到了93.1%的语句覆盖率，平均58.5%的测试包含了来自被测试包的至少一个功能性断言。

Feb, 2023

该研究探讨了三种代码生成模型（CodeGen、Codex和GPT-3.5）在单元测试生成中的效果，发现Codex模型在HumanEval数据集中可以达到80%以上的覆盖率，但在EvoSuite SF110基准测试中，没有模型的覆盖率超过2%且生成的测试代码存在多种测试异味问题。

Apr, 2023

CAT-LM是一个使用27亿参数在Python和Java项目语料库上进行训练的新颖的预训练信号，通过考虑代码和测试文件之间的映射来生成与开发人员相似的测试代码，并且在生成测试完成时比更大的语言模型和最近的测试特定模型表现更好。

Oct, 2023

利用对最近的大型语言模型进行了代码测试的详尽分析，本研究展示了这些模型的一系列有趣性质，并展示了如何改进大型语言模型的程序测试能力，通过利用生成的测试用例来提高合成程序的质量，相较于GPT-3.5-turbo和最新的最先进技术，我们的方法在HumanEval+上的代码通过率分别提高了11.77%和4.22%。

Oct, 2023

通过实验研究了使用大型语言模型（LLMs）ChatGPT在Python程序中生成单元测试脚本的有效性，发现它在覆盖率方面与Pynguin相当，但在生成测试用例方面优于Pynguin；此外，发现ChatGPT能够提供更好的测试覆盖率，此外通过优化ChatGPT的提示工程，可在某些情况下提高覆盖率。

Dec, 2023

利用大型语言模型（LLMs）生成高质量代码的能力引起了软件测试界的广泛关注。本文介绍了一个大规模数据集UniTSyn，用于提升LLMs在单元测试合成方面的能力。通过与被测试函数相关联的测试，UniTSyn使LLMs能够推断预期行为和待验证的逻辑路径。通过基于UniTSyn构建自回归模型，实验证明在所有评估的编程语言中，学习和理解单元测试表征获得显著的效益，提高了生成准确性和代码覆盖率。

Feb, 2024

使用大型语言模型（LLMs）生成高质量的测试用例是一个重要问题，目前的研究主要集中在改进代码生成过程中通过LLMs生成辅助测试用例的性能，而LLMs在仅生成测试用例方面的性能尚未全面研究。为了填补这一空白，本文通过大量实验研究了LLMs生成高质量测试用例的能力，并提出了一种名为TestChain的多代理框架，通过与Python解释器的交互提供更准确的测试输出，实验结果表明TestChain在测试用例准确性上明显优于基准模型，其中使用GPT-4作为基础的TestChain在LeetCode-hard数据集上相比基准模型改进了13.84%。

Apr, 2024

自动化方法生成并测试并行计算软件的单元测试，考虑到其复杂逻辑和并行处理等独特特点。

Jul, 2024

本研究解决了一个重要问题：不正确的源代码如何影响大语言模型（LLMs）在生成测试用例时的有效性。通过评估五个开放源代码和六个闭源LLMs，发现错误代码显著降低了测试的准确性和缺陷检测能力。这一发现强调了在使用LLMs进行测试时，需要谨慎处理初期不成熟代码，以避免把错误嵌入系统中。

Sep, 2024

本研究解决了在源代码错误的情况下，大型语言模型（LLMs）生成测试用例的有效性问题。研究发现，错误的代码会显著误导LLMs生成正确性、覆盖率和缺陷检测效果都较差的测试用例，这对于LLMs在成熟代码和早期代码上的应用具有重要影响，同时强调了提高LLMs对错误代码抵抗力的必要性。

Sep, 2024