重新审视追求代码生成模块化的影响
该研究探讨了大型语言模型在编程问题中的应用,发现最新技术如InstructGPT和ChatGPT在处理指令时表现优异,而早期使用变量名如Codex的模型的性能受描述问题时表浅的指标较大影响。
Jun, 2023
基于因果分析的方法用于系统地分析大语言模型(LLMs)输入提示与生成代码之间的因果关系,研究结果展示了该技术在提供LLMs有效性方面的潜力,并帮助最终用户理解预测,同时提供改进LLMs生成代码质量的可操作见解。
Oct, 2023
评估大型语言模型在编码任务上的能力的多维度、多语言、多任务评估基准CodeScope的引入和分析
Nov, 2023
通过提出一个与开发者在实践项目中的经验相一致的新基准DevEval,我们评估了五个热门的大型语言模型在代码生成方面的实际能力,揭示了它们的实际表现,并讨论了在实践项目中代码生成的挑战和未来发展方向。
Jan, 2024
大型语言模型在代码生成方面展示了显著的熟练度,并通过许多先前的研究在各种开发场景中显示了它们的有希望的能力。然而,这些研究主要在研究环境中进行评估,这在了解LLMs在实际开发中如何有效地支持开发人员方面存在重大差距。通过对来自开发人员与ChatGPT的对话的数据集DevGPT进行实证分析,我们的实证发现表明,目前使用LLM生成的代码的实践通常仅限于展示高级概念或在文档中提供示例,而不是用于生产就绪的代码。这些发现表明,在LLMs成为现代软件开发的重要组成部分之前,还需开展大量未来工作来改进LLMs在代码生成方面的能力。
Feb, 2024
通过新的基准测试DevEval,我们评估了8种流行的大型语言模型在真实代码库中的编码能力,并发现这些模型的编码能力在真实世界的代码库中存在缺陷。
May, 2024
基于大规模语言模型的代码生成领域的综述,介绍了对LLMs在代码生成领域的最新进展、数据处理、性能评估、实际应用,对学术与实践之间的差距进行了分析,提出了关键挑战和机遇,并提供了一个资源网站以记录和传播该领域的最新进展。
Jun, 2024
本研究评估了大型语言模型(LLMs)生成代码的效率,并将其与人类编写的解决方案进行比较,填补了当前研究中的数据评估空白。提出了一种新方法来测量和比较LLM生成代码的速度,发现LLM生成的代码在性能上与人类代码相当,且平均更为高效。研究结果为理解LLM在代码生成中的能力提供了重要见解,并为未来优化奠定基础。
Jul, 2024
本研究解决了在面向对象编程中,方法级别的代码生成缺乏探索的问题。引入了“提示-令牌成本效益”这一新颖指标,以评估额外上下文信息的经济可行性,发现方法调用细节丰富的提示在成本效益上表现最佳。此外,研究揭示了不同大型语言模型在错误类型分布和开发者协助程度上的差异,强调了根据任务的耦合程度选择合适的模型的重要性。
Aug, 2024