通过对AI程序员GitHub Copilot生成代码中的高危漏洞相关场景的系统研究，我们发现了40%的代码是存在漏洞的，这造成了对代码安全性的重大担忧。

Aug, 2021

我们在166个编程问题的公开数据集上评估了GitHub Copilot的性能，发现它能够在第一次尝试中成功解决约一半的问题，并且仅使用问题描述自然语言的变化即可解决剩余60％的问题；我们认为这种类型的提示工程是一种提高计算思维能力的潜在有用的学习活动，很可能改变代码编写技能发展的性质。

Oct, 2022

研究表明，具有实现代码自动生成能力的大型语言模型的正确性及努力度均对程序员的价值有影响，建议设计出更人性化的评估指标以评估这些模型的优劣。

Oct, 2022

本文简要回顾了OpenAI的ChatGPT及其开源类似项目，并评估它们在代码可访问性、数据、许可证、训练以及fine-tuning等方面的开放程度。我们发现，尽管有许多声称为“开源”的项目，但是其中大部分存在不确定的数据来源以及缺乏充分的文档说明，缺少重要的注释调整，有意识的科学文档非常罕见，而这些因素在公平性和责任性方面都显得非常重要。

Jul, 2023

通过对109名参与者进行一个受控的2 × 2交叉试验，我们研究了ChatGPT在编码任务和典型软件开发任务中的协助程度以及人们与ChatGPT的互动关系，结果显示ChatGPT在解决简单编码问题方面表现良好，但在支持典型软件开发任务方面表现不佳。因此，我们提供了使用ChatGPT在软件工程领域与开发人员合作的第一手实验结果，并倡导提出有助于开发人员与大型语言模型有效合作以实现预期结果的新型交互机制。

Feb, 2024

开源开发者在人工智能（AI）的政治经济中成为关键角色，开放模型开发被认为是封闭源AI开发的替代方案。然而，我们对开源AI的协作实践仍有有限的了解。本文通过对Hugging Face（HF） Hub上的开发活动进行三部分数量分析来填补这一空白，HF Hub是一个流行的构建、分享和展示模型的平台。

May, 2024

近期生成人工智能在协作工作流程中的应用取得了重大进展，对团队绩效的影响仍未被充分探索。本研究通过一项随机对照实验，在122支团队的435名参与者中研究了生成人工智能在增强或取代传统团队动态中的作用。研究结果表明，在各种绩效指标上，增加生成人工智能的团队显著优于仅依赖人类协作的团队。有趣的是，采用多个人工智能的团队并未表现出进一步的增益，暗示了集成人工智能的效果递减。我们的分析表明，由少数团队成员进行集中使用的人工智能比分布式参与更为有效。此外，个体-人工智能配对的表现与传统团队相当，说明在某些情境下，传统团队结构的需求减少了。然而，尽管有这种能力，个体-人工智能配对的表现仍不及人工智能辅助团队的水平。这些发现强调，生成人工智能可以取代一些传统团队功能，但更全面地将人工智能整合到团队结构中可以提供更优越的效益，提升整体效能而不仅仅依赖个人努力。

May, 2024

Generative AI technologies promise to transform the product development lifecycle, and this study evaluates the efficiency gains and challenges of using GitHub Copilot, an AI-powered coding assistant.

Jun, 2024

本研究探讨了开放生成模型在事实核查组织数据科学流程中的应用，关注其在重复性和公正性方面的挑战。通过对24名专业人士的访谈，提出了生成AI在数据处理中的五个组成部分的概念模型，并揭示了组织对开放模型和专有模型使用的动机及限制。研究结果为了解生成AI在社会中的影响提供了新的视角。

Aug, 2024

本研究解决了传统人工智能模型的局限性，探索了通过工作流程集成模型、数据源和管道，以实现更复杂和多样化任务的协同AI系统。GenAgent框架创新性地以代码形式表示工作流程，并通过协同代理逐步构建，实验证明其在效果和稳定性上优于基线方法，展现了更高的灵活性和可扩展性。

Sep, 2024