Jun, 2024

AICoderEval: 大型语言模型的 AI 领域代码生成改进

PDF
TL;DR自动代码生成，面向真实世界任务的 AICoderEval 数据集评估了大型语言模型的任务特定代码生成能力，并提出了基于代理机制的框架 CoderGen，通过增强模型和构建 AICoderEval 提高了 LLMs 的任务特定代码生成能力，AICoder 在效果上表现优于现有的代码生成 LLMs，证实 AICoderEval 基准的质量。
automated code generationreal-world tasksaicoderevaltask-specific code generation capabilityaicoder
发现论文，激发创造
  • InfiCoder-Eval：对代码大型语言模型的问题回答能力进行系统评估

    利用 InfiCoder-Eval 这个大规模的自由形式问答（QA）基准测试，我们系统评估了超过 80 种代码 LLMs，并取得了一系列富有洞察力的发现，同时展示了进一步改进代码 LLMs 的可能方向。

    Mar, 2024

  • L2CEval: 评估大型语言模型的语言到代码生成能力

    最近，大型语言模型（LLMs），特别是那些在代码上进行预训练的模型，展现出了从自然语言输入中以少量甚至无需样本的方式生成程序的强大能力。然而，这些模型的语言到代码生成能力缺乏全面的评估。本研究通过 L2CEval 系统地评估了 LLMs 在 7 个任务（包括语义解析、数学推理和 Python 编程）中的语言到代码生成能力，分析了可能影响它们性能的因素，如模型大小、预训练数据、指令调整和不同的提示方法。除了评估模型性能，我们还衡量了模型的置信度校准情况，并对输出的程序进行人工评估。这使我们能够识别并分析各种任务和模型的典型失败模式。L2CEval 提供了对 LLMs 在语言到代码生成方面能力和限制的全面了解。同时，我们还发布了评估框架和所有模型输出，希望为今后在该领域的进一步研究奠定基础。

    Sep, 2023

  • xCodeEval：一项用于代码理解、生成、翻译和检索的大规模多语言多任务基准测试

    人工智能正在开发出可以用于程序编写的 AI 系统，生成代码的自然语言描述，语言模型在生成代码的过程中表现出了良好的性能，但它们的评估通常只在少数语言和部分层次上进行，还需要更好的培训数据。

    Mar, 2023

  • AutoCoder：使用 AIEV-Instruct 增强代码大型语言模型

    AutoCoder 是第一个在 Human Eval 基准测试的 pass@1 上超过 GPT-4 Turbo（2024 年 4 月）和 GPT-4o 的大型语言模型（90.9% 对 90.2%）。此外，与 GPT-4 Turbo 和 GPT-4o 相比，AutoCoder 提供了更多功能的代码解释器，其解释器可以安装外部包而不仅限于内置包。AutoCoder 的训练数据是通过将代理交互和外部代码执行验证相结合的系统创建的多轮对话数据集，我们称之为 AIEV-Instruct。与以前的大规模代码数据集生成方法相比，AIEV-Instruct 减少对专有大模型的依赖，并提供经过执行验证的代码数据集。

    May, 2024

  • AgentCoder: 基于多智能体的代码生成与迭代测试优化

    介绍了一种名为 Multi-Agent Assistant Code Generation（AgentCoder）的新方法，它使用专门的程序员代理、测试设计师代理和测试执行代理来协同生成代码，解决了代码生成和测试用例生成之间的平衡问题，并在实验中表现出优于现有模型的性能。

    Dec, 2023

  • InstructCoder：赋予语言模型在代码编辑中的能力

    本研究使用大型语言模型（LLMs）和 InstructCoder 数据集，探索用户指令下的代码编辑，涵盖评论插入、代码优化和代码重构等多个隐含任务。实验证明，在 InstructCoder 数据集上对开源 LLMs 进行精细调整，能够大多数情况下正确地编辑代码，展现了前所未有的代码编辑性能水平。

    Oct, 2023

  • 评估 AI 检测器在识别 AI 生成代码中的应用：对教育的影响

    研究聚焦于大型语言模型在编程教育中的应用，特别关注人工智能生成内容检测器在学术不端中的潜在漏洞，并通过生成代码来检验大型语言模型对于绕过检测的努力。研究结果表明现有的人工智能生成内容检测器在区别人工编写的代码和人工智能生成的代码方面表现不佳。

    Jan, 2024

  • 生成 AI 用于生成测试数据生成器

    通过生成 AI，我们评估了不同领域测试数据生成任务的三种水平上大型语言模型（LLMs）的能力，结果表明 LLMs 可以成功地在各种领域和三个集成性水平上生成逼真的测试数据生成器。

    Jan, 2024

  • 提升上下文学习，用于代码生成

    本文旨在提出一种名为 AceCoder 的新型代码生成方法，应用于六种已预先训练的语言模型，并在三个公共基准测试中进行了评估，结果显示 AceCoder 可以显著提高 PTLM 在代码生成方面的性能。

    Mar, 2023

  • 基于生成型人工智能数据增强的软件元数据分类的影响研究

    该研究论文提出了一种系统，用于自动预测代码 - 注释对的有用性，并研究了大型语言模型生成的数据对原始基础数据以及相应源代码的影响。通过使用评论和相应代码的神经上下文表示来训练基于机器学习的模型，我们开发了一个框架来预测代码 - 注释对的有用性，并分析了与基础数据使用 LLM 生成数据的性能。在官方评估中，我们的系统相对于基准线提高了 4% 的 F1 得分，并提高了生成数据的质量。

    Oct, 2023