Oct, 2022

与 Copilot 交流：探索使用自然语言解决 CS1 问题的 Prompt Engineering

PDF
TL;DR我们在 166 个编程问题的公开数据集上评估了 GitHub Copilot 的性能，发现它能够在第一次尝试中成功解决约一半的问题，并且仅使用问题描述自然语言的变化即可解决剩余 60％的问题；我们认为这种类型的提示工程是一种提高计算思维能力的潜在有用的学习活动，很可能改变代码编写技能发展的性质。
github copilotartificial intelligencesource code generationintroductory programming coursescomputational thinking skills
发现论文，激发创造
  • 对新手程序员使用 Copilot 的可用性和交互的研究

    近年来，深度学习的最新发展已经产生了从自然语言和代码提示中生成源代码的代码生成模型，在课堂上，学习编程的新手现在可以使用免费工具自动建议编程练习和作业的解决方案，然而，目前尚不清楚新手如何与这些工具实际交互。本文通过观察和采访初学者，研究了使用一种自动生成代码的工具 Github Copilot 的学生在典型的编程入门任务中的感知、交互模式和认知和元认知困难，并探讨 Copilot 等工具如何更好地支持和搭建新手编程体验的设计方案。

    Apr, 2023

  • Xcode 的协助助手：利用云端大型语言模型提供 AI 辅助编程

    这篇论文介绍了一种名为 Copilot for Xcode 的 AI 辅助编程工具，通过将云端的大型语言模型与苹果的本地开发环境 Xcode 无缝集成，提高了软件开发者的生产力，释放了创造力，支持苹果软件生态系统中的软件开发。它利用先进的自然语言处理技术，有效处理代码库中的源代码令牌和模式，实现代码生成、自动完成、文档编制和错误检测等功能。软件开发者还可以通过 Copilot for Xcode 的聊天界面查询和进行 “小型” 程序组合的决策，其中一些决策可以同时进行。最后，我们通过简单的案例研究展示了在 Xcode 中利用 NLP 来促进流行的大型语言模型服务如 OpenAI ChatGPT 进行程序组合和设计的有效性。

    Jul, 2023

  • 分析提示在自动生成方法中的影响：一项基于 Copilot 的实证研究

    研究调查了 8 个提示特征对生成代码的风格、内容、正确性、复杂性、大小和与开发人员代码的相似性的影响，并考虑了在使用 Copilot 生成 200 个 Java 方法的 124,800 个提示的任务结果表明，某些提示特征，如示例的存在和方法目的的总结，可以显著影响结果的质量。

    Feb, 2024

  • 基于情境的副驾驶：程序员如何与代码生成模型交互

    通过观察 20 名参与者与 Copilot 互动解决不同编程任务的方式，通过首次建立的理论分析表明，编程助手的交互为双峰分布：在加速模式下，程序员知道下一步该做什么并使用 Copilot 完成；而在探索模式下，程序员不确定如何进行并使用 Copilot 探索选项。基于我们的理论，我们提出了改善未来 AI 编程助手可用性的建议。

    Jun, 2022

  • 从 Copilot 到 Pilot：走向 AI 支持的软件开发

    本研究探讨了 AI 支持的编程工具的现有局限性和未来发展挑战，从 Copilot 的代码建议语言习惯和代码气味方面进行了初步探索，同时提出了一个简单的分类工具来理解该领域的 AI 支持的 code completion 工具。

    Mar, 2023

  • GitHub Copilot 代码贡献的安全性评估

    通过对 AI 程序员 GitHub Copilot 生成代码中的高危漏洞相关场景的系统研究，我们发现了 40% 的代码是存在漏洞的，这造成了对代码安全性的重大担忧。

    Aug, 2021

  • 改革软件开发：评估 GitHub Copilot 在现实项目中的效率和挑战

    Generative AI technologies promise to transform the product development lifecycle, and this study evaluates the efficiency gains and challenges of using GitHub Copilot, an AI-powered coding assistant.

    Jun, 2024

  • 通过廉价高效的提示工程提升 GitHub Copilot 的基于 AI 的代码合成安全性

    提出并评估了三种 Prompt 修改方法，并在实际场景中使用 OpenVPN 项目对 GitHub Copilot 的有效性进行了评估，结果表明这些方法可减少不安全的生成代码样本的数量高达 16％，增加安全代码的数量高达 8％。

    Mar, 2024

  • GitHub Copilot：完美的代码补全器？

    通过自动化的框架，评估 GitHub Copilot 在 LeetCode 问题集上生成的代码质量，以 Java、C ++、Python3 和 Rust 等四种编程语言评估 Copilot 在代码生成阶段的可靠性、生成的代码的正确性以及其对编程语言、问题难度和问题主题的依赖。

    Jun, 2024

  • 试点 Copilot 和 Codex：高温，低提示，还是黑魔法？

    本文研究了两种语言模型的各种输入参数，并进行了研究以了解这些输入参数的变化（例如编程任务描述和周围环境，语言模型的创造力，生成的解决方案数量）是否会对生成的程序的质量产生显着影响。研究结果表明，改变输入参数可以显着提高语言模型的性能。但是，当改变温度、提示和生成的解决方案数量时，存在严格的依赖关系，可能很难让开发人员正确控制参数以获得最佳结果。

    Oct, 2022