我们在 166 个编程问题的公开数据集上评估了 GitHub Copilot 的性能，发现它能够在第一次尝试中成功解决约一半的问题，并且仅使用问题描述自然语言的变化即可解决剩余 60％的问题；我们认为这种类型的提示工程是一种提高计算思维能力的潜在有用的学习活动，很可能改变代码编写技能发展的性质。

Oct, 2022

通过建立提示的结构化理解，本文通过整理提示技术的分类法和分析其使用，提供了 33 个词汇术语、58 种文本提示技术以及 40 种其他模态的技术，还对自然语言前缀提示的整个文献进行了元分析。

Jun, 2024

提出并评估了三种 Prompt 修改方法，并在实际场景中使用 OpenVPN 项目对 GitHub Copilot 的有效性进行了评估，结果表明这些方法可减少不安全的生成代码样本的数量高达 16％，增加安全代码的数量高达 8％。

Mar, 2024

近年来，深度学习的最新发展已经产生了从自然语言和代码提示中生成源代码的代码生成模型，在课堂上，学习编程的新手现在可以使用免费工具自动建议编程练习和作业的解决方案，然而，目前尚不清楚新手如何与这些工具实际交互。本文通过观察和采访初学者，研究了使用一种自动生成代码的工具 Github Copilot 的学生在典型的编程入门任务中的感知、交互模式和认知和元认知困难，并探讨 Copilot 等工具如何更好地支持和搭建新手编程体验的设计方案。

Apr, 2023

作为预训练语言模型（PLM）的流行方法之一，为了解决其使用的计算成本过高的问题，我们研究了最近在自然语言处理领域中出现的一种潜在解决方案，即 prompt learning。我们发现现有的自动提示设计方法在代码智能任务中非常有限，无法达到预期效果。为了解决这两个问题，我们提出了一种名为 Genetic Auto Prompt（GenAP）的自动设计提示的细致遗传算法。GenAP 无需梯度或额外的计算成本，既无梯度又节约成本。此外，GenAP 在代码智能任务的理解和生成类型都有很好的适用性。我们对三个流行的代码智能 PLMs 进行了 GenAP 的实验，包括缺陷预测、代码摘要和代码翻译。实验结果表明，GenAP 可以有效自动化设计提示的过程，并在所有三个任务中优于其他方法（例如，缺陷预测的准确率平均提高了 2.13%）。据我们所知，GenAP 是第一个为代码智能 PLMs 自动设计提示的工作。

Mar, 2024

通过引入 “Prompt Problem” 概念以及开发名为 Promptly 的工具，本文介绍了一种新的教学方法，可以帮助学生学习如何为大型语言模型构建有效的提示，通过一项实地研究发现，Promptly 大部分被学生们积极接受，并且能够激发他们的计算思维能力和接触新的编程结构，未来的研究方向包括 Prompt Problem 设计的改进以及将其整合进课程和教学实践中的研究。

Jul, 2023

通过观察 20 名参与者与 Copilot 互动解决不同编程任务的方式，通过首次建立的理论分析表明，编程助手的交互为双峰分布：在加速模式下，程序员知道下一步该做什么并使用 Copilot 完成；而在探索模式下，程序员不确定如何进行并使用 Copilot 探索选项。基于我们的理论，我们提出了改善未来 AI 编程助手可用性的建议。

Jun, 2022

通过对 410 名开发者进行调查，本研究深入剖析了开发者使用 AI 编程助手的动机、显著的使用场景以及面临的主要可用性挑战，并提出了设计与使用此类工具的建议。

Mar, 2023

我们研究了使用编程提示和文本提示对三种流行的 GPT 模型 (davinci、code-davinci-002 和 text-davinci-002) 在更广泛的任务选择 (例如 QA、情感、摘要) 中的表现，结果表明，在很少例外的情况下，编程提示并没有始终优于文本提示。同时，我们还展示了代码提示的样式对某些但不是所有任务的性能有很大的影响，并且微调文本指令可以提高代码提示的相对性能。

Apr, 2023

这篇论文介绍了一种名为 Copilot for Xcode 的 AI 辅助编程工具，通过将云端的大型语言模型与苹果的本地开发环境 Xcode 无缝集成，提高了软件开发者的生产力，释放了创造力，支持苹果软件生态系统中的软件开发。它利用先进的自然语言处理技术，有效处理代码库中的源代码令牌和模式，实现代码生成、自动完成、文档编制和错误检测等功能。软件开发者还可以通过 Copilot for Xcode 的聊天界面查询和进行 “小型” 程序组合的决策，其中一些决策可以同时进行。最后，我们通过简单的案例研究展示了在 Xcode 中利用 NLP 来促进流行的大型语言模型服务如 OpenAI ChatGPT 进行程序组合和设计的有效性。

Jul, 2023