Generative AI technologies promise to transform the product development lifecycle, and this study evaluates the efficiency gains and challenges of using GitHub Copilot, an AI-powered coding assistant.

Jun, 2024

通过 Jellyfish 平台分析 AI 驱动的编码工具对工程师工作流程和工作环境的影响，我们使用分配数据、编码比例、生命周期阶段、周期时间、Jira 票大小、PR 接收时间、PR 评论数量、交互和编码语言等指标来观察变化。我们观察到 Copilot 用户的编码时间分数有显著减少，平均减少 3％，个别减少达 15％。四家公司的票大小平均减少 16％，周期时间减少 8％，而对照组没有变化。此外，PR 过程随着 Copilot 的使用而演变，评论更长更详细，尽管每周审查的 PR 数量保持不变。参与的公司并非所有猜测的变化都有观察到，但有些公司的 PR 接收时间减少了最多达 33％，表明工作流程中的瓶颈减少，一家公司将 17％的工作投入到产品增长而非维护和支持工作。本研究是首次利用多家公司的数据，并超越简单的生产力和满意度测量，考虑了真实的工程环境。通过这样做，我们强调了一些公司似乎比其他公司更受益于 Copilot 的使用，并且在研究工程工作和工作流程的整体而非特定方面时，变化可能是微妙的 - 这是将来的进一步研究的内容。

Jun, 2024

本研究探讨了 AI 支持的编程工具的现有局限性和未来发展挑战，从 Copilot 的代码建议语言习惯和代码气味方面进行了初步探索，同时提出了一个简单的分类工具来理解该领域的 AI 支持的 code completion 工具。

Mar, 2023

通过对 AI 程序员 GitHub Copilot 生成代码中的高危漏洞相关场景的系统研究，我们发现了 40% 的代码是存在漏洞的，这造成了对代码安全性的重大担忧。

Aug, 2021

我们在 166 个编程问题的公开数据集上评估了 GitHub Copilot 的性能，发现它能够在第一次尝试中成功解决约一半的问题，并且仅使用问题描述自然语言的变化即可解决剩余 60％的问题；我们认为这种类型的提示工程是一种提高计算思维能力的潜在有用的学习活动，很可能改变代码编写技能发展的性质。

Oct, 2022

通过对 410 名开发者进行调查，本研究深入剖析了开发者使用 AI 编程助手的动机、显著的使用场景以及面临的主要可用性挑战，并提出了设计与使用此类工具的建议。

Mar, 2023

近年来，深度学习的最新发展已经产生了从自然语言和代码提示中生成源代码的代码生成模型，在课堂上，学习编程的新手现在可以使用免费工具自动建议编程练习和作业的解决方案，然而，目前尚不清楚新手如何与这些工具实际交互。本文通过观察和采访初学者，研究了使用一种自动生成代码的工具 Github Copilot 的学生在典型的编程入门任务中的感知、交互模式和认知和元认知困难，并探讨 Copilot 等工具如何更好地支持和搭建新手编程体验的设计方案。

Apr, 2023

通过观察 20 名参与者与 Copilot 互动解决不同编程任务的方式，通过首次建立的理论分析表明，编程助手的交互为双峰分布：在加速模式下，程序员知道下一步该做什么并使用 Copilot 完成；而在探索模式下，程序员不确定如何进行并使用 Copilot 探索选项。基于我们的理论，我们提出了改善未来 AI 编程助手可用性的建议。

Jun, 2022

这篇论文介绍了一种名为 Copilot for Xcode 的 AI 辅助编程工具，通过将云端的大型语言模型与苹果的本地开发环境 Xcode 无缝集成，提高了软件开发者的生产力，释放了创造力，支持苹果软件生态系统中的软件开发。它利用先进的自然语言处理技术，有效处理代码库中的源代码令牌和模式，实现代码生成、自动完成、文档编制和错误检测等功能。软件开发者还可以通过 Copilot for Xcode 的聊天界面查询和进行 “小型” 程序组合的决策，其中一些决策可以同时进行。最后，我们通过简单的案例研究展示了在 Xcode 中利用 NLP 来促进流行的大型语言模型服务如 OpenAI ChatGPT 进行程序组合和设计的有效性。

Jul, 2023

提出并评估了三种 Prompt 修改方法，并在实际场景中使用 OpenVPN 项目对 GitHub Copilot 的有效性进行了评估，结果表明这些方法可减少不安全的生成代码样本的数量高达 16％，增加安全代码的数量高达 8％。

Mar, 2024