Aug, 2023

ClassEval: 评估 LLMs 在类级别代码生成上的人工制作基准

PDF
TL;DR我们首次尝试在更具挑战性的类级代码生成情景中评估 LLMs，并构建了一个包括 100 个类级 Python 代码生成任务的基准测试集，通过对 11 种最新 LLMs 在类级代码生成任务上的研究，发现现有 LLMs 在类级代码生成上表现较差，GPT-4 和 GPT-3.5 在类级代码生成上的表现卓越，而逐方法生成是其他模型更好的策略。
发现论文，激发创造
  • DevEval：与现实世界源代码仓库对齐的手动注释代码生成基准

    通过新的基准测试 DevEval，我们评估了 8 种流行的大型语言模型在真实代码库中的编码能力，并发现这些模型的编码能力在真实世界的代码库中存在缺陷。

    May, 2024

  • DevEval: 评估实际软件项目中的代码生成

    通过提出一个与开发者在实践项目中的经验相一致的新基准 DevEval，我们评估了五个热门的大型语言模型在代码生成方面的实际能力，揭示了它们的实际表现，并讨论了在实践项目中代码生成的挑战和未来发展方向。

    Jan, 2024

  • 通过严格评估大型语言模型来生成代码，确定 ChatGPT 生成的代码是否真正正确

    使用 EvalPlus 框架对大型语言模型进行代码综合基准测试，通过自动生成测试输入来扩充现有基准测试集，发现并降低了 LLM 合成代码的错误率，揭示了现有编程基准测试的局限性并为编程基准测试的改进方向开辟了新的方向。

    May, 2023

  • 挑战前人未达之地：暴露代码生成评估中的偏见和不足

    本研究对 Python 代码生成的两个广泛应用的基准测试 ——HumanEval 和 MBPP 进行了大规模人工评估，重点关注它们的多样性与难度。研究结果发现，现有基准测试对少数编程概念存在显著偏向，而对大多数概念几乎没有或没有代表性的呈现。此外，研究还发现易于完成的编程问题所占比例极高，可能导致对模型在代码生成任务上性能的过高评价。

    Jan, 2024

  • 大型语言模型是代码生成领域最先进的评估器

    本研究提出了一个基于 GPT-3.5 的评估框架，用于评估代码生成的功能正确性和人类偏好，能够在不需要测试 oracle 或参考文献的情况下，达到比 CodeBERTScore 更高的准确性和一致性。

    Apr, 2023

  • 排行榜排名高 = 编码能力一直出众吗？通过 LLM 实现演进的编码基准评估

    通过 EvoEval 基准套件的引入，评估 LLM 在编码方面的能力，我们的研究展示了 51 个 LLM 的性能显著下降（平均下降 39.4%），从而显示了现有基准的潜在过拟合，并展示了指令跟随模型在重述或微小更改时的脆弱性以及学习问题组成和分解的重要性。

    Mar, 2024

  • L2CEval: 评估大型语言模型的语言到代码生成能力

    最近，大型语言模型（LLMs），特别是那些在代码上进行预训练的模型，展现出了从自然语言输入中以少量甚至无需样本的方式生成程序的强大能力。然而，这些模型的语言到代码生成能力缺乏全面的评估。本研究通过 L2CEval 系统地评估了 LLMs 在 7 个任务（包括语义解析、数学推理和 Python 编程）中的语言到代码生成能力，分析了可能影响它们性能的因素，如模型大小、预训练数据、指令调整和不同的提示方法。除了评估模型性能，我们还衡量了模型的置信度校准情况，并对输出的程序进行人工评估。这使我们能够识别并分析各种任务和模型的典型失败模式。L2CEval 提供了对 LLMs 在语言到代码生成方面能力和限制的全面了解。同时，我们还发布了评估框架和所有模型输出，希望为今后在该领域的进一步研究奠定基础。

    Sep, 2023

  • 代码生成评估的基准和指标：一项关键性回顾

    对大型语言模型在编程任务中的评估工作进行了关键综述，着重讨论了现有工具的评估中使用的基准和度量标准，并提出了进一步研究的方向。

    Jun, 2024

  • RealHumanEval: 评估大型语言模型对程序员的支持能力

    通过使用 RealHumanEval、静态基准以及优先度度量，研究了大型语言模型（LLMs）在代码编写中的效能表现以及对程序员生产力的影响。发现优化的基准性能可以提高程序员的生产力，但基准性能与人类表现之间的差距并不成比例，同时程序员的偏好与实际表现并无关联，这促使我们需要更好、以人为中心的评估指标。同时，我们公开了 RealHumanEval 工具和研究数据以促进代码模型的改进。

    Apr, 2024

  • LLM 生成的代码的效率如何？一个严格和高标准的基准测试

    本研究提出了一种评估大型语言模型在生成高效代码方面能力的高标准基准 ENAMEL，通过新的效率度量标准 eff@k 和人工专家设计的参考解决方案对 30 个常用的大型语言模型进行广泛研究，发现当前的大型语言模型在设计先进算法和实现优化方面仍有不足。

    Jun, 2024