从 Copilot 到 Pilot：走向 AI 支持的软件开发
我们在 166 个编程问题的公开数据集上评估了 GitHub Copilot 的性能，发现它能够在第一次尝试中成功解决约一半的问题，并且仅使用问题描述自然语言的变化即可解决剩余 60％的问题；我们认为这种类型的提示工程是一种提高计算思维能力的潜在有用的学习活动，很可能改变代码编写技能发展的性质。
Oct, 2022
这篇论文介绍了一种名为 Copilot for Xcode 的 AI 辅助编程工具，通过将云端的大型语言模型与苹果的本地开发环境 Xcode 无缝集成，提高了软件开发者的生产力，释放了创造力，支持苹果软件生态系统中的软件开发。它利用先进的自然语言处理技术，有效处理代码库中的源代码令牌和模式，实现代码生成、自动完成、文档编制和错误检测等功能。软件开发者还可以通过 Copilot for Xcode 的聊天界面查询和进行 “小型” 程序组合的决策，其中一些决策可以同时进行。最后，我们通过简单的案例研究展示了在 Xcode 中利用 NLP 来促进流行的大型语言模型服务如 OpenAI ChatGPT 进行程序组合和设计的有效性。
Jul, 2023
近年来，深度学习的最新发展已经产生了从自然语言和代码提示中生成源代码的代码生成模型，在课堂上，学习编程的新手现在可以使用免费工具自动建议编程练习和作业的解决方案，然而，目前尚不清楚新手如何与这些工具实际交互。本文通过观察和采访初学者，研究了使用一种自动生成代码的工具 Github Copilot 的学生在典型的编程入门任务中的感知、交互模式和认知和元认知困难，并探讨 Copilot 等工具如何更好地支持和搭建新手编程体验的设计方案。
Apr, 2023
通过观察 20 名参与者与 Copilot 互动解决不同编程任务的方式，通过首次建立的理论分析表明，编程助手的交互为双峰分布：在加速模式下，程序员知道下一步该做什么并使用 Copilot 完成；而在探索模式下，程序员不确定如何进行并使用 Copilot 探索选项。基于我们的理论，我们提出了改善未来 AI 编程助手可用性的建议。
Jun, 2022
通过对 410 名开发者进行调查，本研究深入剖析了开发者使用 AI 编程助手的动机、显著的使用场景以及面临的主要可用性挑战，并提出了设计与使用此类工具的建议。
Mar, 2023
Generative AI technologies promise to transform the product development lifecycle, and this study evaluates the efficiency gains and challenges of using GitHub Copilot, an AI-powered coding assistant.
Jun, 2024
通过对 AI 程序员 GitHub Copilot 生成代码中的高危漏洞相关场景的系统研究，我们发现了 40% 的代码是存在漏洞的，这造成了对代码安全性的重大担忧。
Aug, 2021
本文探讨了使用大型语言模型进行编程的相似之处和不同之处，认为 LLM-assisted 编程应该被视为一种具有自己独特属性和挑战的新编程方式，并讨论了在将大型语言模型应用于非专业用户编程时可能出现的问题和研究挑战。
Aug, 2022
本研究应用基于 AI 的代码助手对影响现代技术的一些重要代码进行分析，提出使用该助手工具可以对混淆代码或缺乏说明注释的软件提供见解，并专注于添加自动文档和代码注释，并将某些选定的大型代码库转换为带有多个新的 API 和多任务链接的现代版本，从而在遗留代码重构和高价值代码库功能简化方面提供了具有人类级别专业知识的有价值工具。
Jan, 2023