Feb, 2024
岩石编码,而非开发 --LLM 支持的软件工程任务的人为中心的实验评估
Rocks Coding, Not Development--A Human-Centric, Experimental Evaluation of LLM-Supported SE Tasks
Wei Wang, Huilong Ning, Gaowei Zhang, Libo Liu, Yi Wang
TL;DR通过对 109 名参与者进行一个受控的 2 × 2 交叉试验,我们研究了 ChatGPT 在编码任务和典型软件开发任务中的协助程度以及人们与 ChatGPT 的互动关系,结果显示 ChatGPT 在解决简单编码问题方面表现良好,但在支持典型软件开发任务方面表现不佳。因此,我们提供了使用 ChatGPT 在软件工程领域与开发人员合作的第一手实验结果,并倡导提出有助于开发人员与大型语言模型有效合作以实现预期结果的新型交互机制。