Jul, 2024

重新审视追求代码生成模块化的影响

HTML
PDF
TL;DR传统的模块化编程在大语言模型（LLMs）的代码生成中并没有像之前认为的那样对提高性能有核心性的作用，通过引入一种新的定量测量方法，我们发现模块化并非改进代码生成模型性能的核心因素，并探索了LLMs与非模块化代码相比不偏好模块化代码的可能解释。
发现论文，激发创造
  • 探索大型语言模型在解决编程问题中的鲁棒性

    该研究探讨了大型语言模型在编程问题中的应用，发现最新技术如InstructGPT和ChatGPT在处理指令时表现优异，而早期使用变量名如Codex的模型的性能受描述问题时表浅的指标较大影响。

    Jun, 2023

  • 基于大型语言模型的代码生成的基准测试与解释：一种因果关系为中心的方法

    基于因果分析的方法用于系统地分析大语言模型（LLMs）输入提示与生成代码之间的因果关系，研究结果展示了该技术在提供LLMs有效性方面的潜力，并帮助最终用户理解预测，同时提供改进LLMs生成代码质量的可操作见解。

    Oct, 2023

  • CodeChain: 通过自修订的子模块链实现模块化代码生成

    通过一系列自我修订实现模块化代码生成的CodeChain框架，在解决复杂编程任务方面取得显著提升。

    Oct, 2023

  • CodeScope: 一个基于执行的多语言多任务多维度基准评估工具，用于评估LLMs在代码理解和生成方面的能力

    评估大型语言模型在编码任务上的能力的多维度、多语言、多任务评估基准CodeScope的引入和分析

    Nov, 2023

  • DevEval: 评估实际软件项目中的代码生成

    通过提出一个与开发者在实践项目中的经验相一致的新基准DevEval，我们评估了五个热门的大型语言模型在代码生成方面的实际能力，揭示了它们的实际表现，并讨论了在实践项目中代码生成的挑战和未来发展方向。

    Jan, 2024

  • ChatGPT是否能够支持开发者？对于代码生成的大型语言模型的实证评估

    大型语言模型在代码生成方面展示了显著的熟练度，并通过许多先前的研究在各种开发场景中显示了它们的有希望的能力。然而，这些研究主要在研究环境中进行评估，这在了解LLMs在实际开发中如何有效地支持开发人员方面存在重大差距。通过对来自开发人员与ChatGPT的对话的数据集DevGPT进行实证分析，我们的实证发现表明，目前使用LLM生成的代码的实践通常仅限于展示高级概念或在文档中提供示例，而不是用于生产就绪的代码。这些发现表明，在LLMs成为现代软件开发的重要组成部分之前，还需开展大量未来工作来改进LLMs在代码生成方面的能力。

    Feb, 2024

  • DevEval：与现实世界源代码仓库对齐的手动注释代码生成基准

    通过新的基准测试DevEval，我们评估了8种流行的大型语言模型在真实代码库中的编码能力，并发现这些模型的编码能力在真实世界的代码库中存在缺陷。

    May, 2024

  • 关于代码生成的大型语言模型调查

    基于大规模语言模型的代码生成领域的综述，介绍了对LLMs在代码生成领域的最新进展、数据处理、性能评估、实际应用，对学术与实践之间的差距进行了分析，提出了关键挑战和机遇，并提供了一个资源网站以记录和传播该领域的最新进展。

    Jun, 2024

  • 大型语言模型生成代码在Leetcode上的性能研究

    本研究评估了大型语言模型（LLMs）生成代码的效率，并将其与人类编写的解决方案进行比较，填补了当前研究中的数据评估空白。提出了一种新方法来测量和比较LLM生成代码的速度，发现LLM生成的代码在性能上与人类代码相当，且平均更为高效。研究结果为理解LLM在代码生成中的能力提供了重要见解，并为未来优化奠定基础。

    Jul, 2024

  • 大型语言模型在面向对象编程中的战略优化与挑战

    本研究解决了在面向对象编程中，方法级别的代码生成缺乏探索的问题。引入了“提示-令牌成本效益”这一新颖指标，以评估额外上下文信息的经济可行性，发现方法调用细节丰富的提示在成本效益上表现最佳。此外，研究揭示了不同大型语言模型在错误类型分布和开发者协助程度上的差异，强调了根据任务的耦合程度选择合适的模型的重要性。

    Aug, 2024