Feb, 2024
ChatGPT 与 LLaMA：在 Stack Overflow 讨论中的影响力、可靠性和挑战
ChatGPT vs LLaMA: Impact, Reliability, and Challenges in Stack Overflow Discussions
Leuson Da Silva, Jordan Samhi, Foutse Khomh
TL;DR自 2022 年 11 月发布以来，ChatGPT 在 Stack Overflow 这一开发者查询编程和软件开发问题的主要平台上引起了轩然大波。通过展示出对技术问题能够产生即刻、类似人类回复的能力，ChatGPT 在开发者社区中引发了关于在生成式人工智能时代的人驱动平台演变角色的讨论。在 ChatGPT 发布两个月后，Meta 推出了自己的大规模语言模型（LLM），名为 LLaMA，比赛正式开始。我们进行了一项实证研究，分析 Stack Overflow 上的问题，并使用这些 LLMs 来回答它们。通过这种方式，我们旨在（ii）衡量用户随时间的参与度演变；（ii）量化 LLMs 回答的可靠性及其在长期内取代 Stack Overflow 的潜力；（iii）识别和理解 LLMs 出错的原因；以及（iv）将 LLMs 进行比较。我们的实证结果是明确的：ChatGPT 和 LLaMA 挑战了人类专业知识，但在某些领域并未超越它，在用户发帖活动方面也观察到了显著的下降。此外，我们还讨论了我们的发现对于新 LLMs 的使用和开发的影响。