本研究对使用 GitHub Copilot 的用户进行了调查，并研究了其对程序员生产率的影响，发现显示建议被接受的速率是开发人员感知到的生产率的驱动因素。

May, 2022

研究提出了MAGPIE，一种统一的软件改进框架，可以同时使用编译器优化、算法配置和基因改进等多种提高软件效率的方法，结果显示可同时探索所有技术，提供了使用各个技术的竞争性替代方案。

Aug, 2022

利用遗传编程技术开发出一种新的自动化软件测试框架，生成可以重复生成输入值的微程序，从而快速高效地探索软件元件的输入参数范围，同时可应用于多种软件系统。

Feb, 2023

本文探讨了大型语言模型对编写和重构性能更好的代码方面的能力，通过收集大量的程序优化历程以评估和提高大型语言模型的能力，并使用优化器 CODEGEN 推出性能更好的代码以帮助程序员编写有效的代码。

Feb, 2023

本文旨在探索代码异味批量重构与资源消耗之间的关系，并设计算法预测其对资源的影响。实验结果表明基于人工神经网络的预测模型能够高度准确地预测批量重构对资源消耗的影响。同时，本文提出了资源感知的代码异味重构的概念，以满足软件应用开发者在提高代码质量和可维护性的同时减少资源消耗的需求。

Jun, 2023

本研究提出了一种名为“Retrieval-Augmented Prompt Generation (RAPGen)”的新方法，可以使用预构建的知识库来检索以前的性能缺陷修复，并生成优化建议，其可以在零样本学习条件下与开发人员相当甚至更优地修复性能缺陷。

Jun, 2023

用CodeBenchGen框架创建可扩展的基于执行的基准测试，利用大型语言模型将任意代码转换为评估示例，并通过Exec-CSN数据集展示了人类和模型在代码生成系统上的性能分析。

Mar, 2024

CodeLLMs在仓库级别规模上生成可执行且功能正确的代码的能力尚未得到广泛探索。我们引入了一种新的评估代码生成在仓库级别规模上的基准，名为methodnamews，强调可执行性和正确性。methodnamews提供了一个自动化系统，用于验证要求，并具有动态生成高覆盖率测试用例的机制，以评估生成代码的功能性。我们的研究探索了一个受控场景，开发人员在其中指定必要的代码依赖项，挑战模型准确地集成这些依赖项。实验证明，尽管预训练的LLMs在正确性方面胜过指令调优模型，但后者在利用所提供的依赖项和展示调试能力方面表现出色。methodnamews旨在提供对代码功能和与开发人员意图的一致性的全面评估，为在实际场景中使用更可靠和适用的CodeLLMs铺平道路。

Jun, 2024

PerfSense是一个轻量级框架，利用大型语言模型高效地识别与性能相关的配置，通过使用高级提示技术如提示链接和检索辅助生成（RAG）来模拟开发人员与性能工程师之间的交互。在对七个开源Java系统进行的评估中，PerfSense在分类性能敏感配置方面的平均准确率达到64.77%，超过了LLM基线（50.36%）和先前的最先进方法（61.75%）。总的来说，PerfSense显著减少了对分类性能敏感配置的手动工作量，并为未来基于LLM的代码分析研究提供了宝贵的见解。

Jun, 2024

本研究针对Java性能测试中温暖阶段的波动性问题，提出了一种基于AI的动态中止热身迭代框架，通过时间序列分类技术预测热身阶段的结束。实验表明，该框架能显著提高热身估算的准确率，使性能测试的结果质量或测试时间提高至35.3%。

Aug, 2024