Jun, 2024

Qiskit HumanEval: 量子代码生成模型的评估基准

PDF
TL;DR通过使用 Quantum Software Development Kits (SDKs) 进行开发，本研究引入并使用了 Qiskit HumanEval 数据集，这是一个手工精选的任务集合，旨在评估 Large Language Models (LLMs) 在使用 Qiskit（一种量子 SDK）生成量子代码方面的能力，并在可执行的量子代码生成方面建立了新的基准。
quantum programsquantum software development kitsgenerative artificial intelligenceqiskit humaneval datasetexecutable quantum code
发现论文，激发创造
  • Qiskit 代码助手：训练 LMM 生成量子计算代码

    本文主要研究了针对量子计算领域的 Code LLMs 的训练，包括讨论量子计算编程的独特需求、使用 Qiskit 库进行高质量量子代码的训练和模型性能的评估，并探讨了 Code LLMs 对量子计算科学家、研究人员和从业人员的潜在益处以及相关特性和未来工作。

    May, 2024

  • 应用导向的基于 QUARK 的量子生成学习基准测试

    提出了 QUARK 框架的扩展，用于评估量子生成模型的训练和部署，通过多个应用示例展示了其软件架构的灵活性。

    Aug, 2023

  • RealHumanEval: 评估大型语言模型对程序员的支持能力

    通过使用 RealHumanEval、静态基准以及优先度度量，研究了大型语言模型（LLMs）在代码编写中的效能表现以及对程序员生产力的影响。发现优化的基准性能可以提高程序员的生产力，但基准性能与人类表现之间的差距并不成比例，同时程序员的偏好与实际表现并无关联，这促使我们需要更好、以人为中心的评估指标。同时，我们公开了 RealHumanEval 工具和研究数据以促进代码模型的改进。

    Apr, 2024

  • 通过严格评估大型语言模型来生成代码，确定 ChatGPT 生成的代码是否真正正确

    使用 EvalPlus 框架对大型语言模型进行代码综合基准测试，通过自动生成测试输入来扩充现有基准测试集，发现并降低了 LLM 合成代码的错误率，揭示了现有编程基准测试的局限性并为编程基准测试的改进方向开辟了新的方向。

    May, 2023

  • DevEval：与现实世界源代码仓库对齐的手动注释代码生成基准

    通过新的基准测试 DevEval，我们评估了 8 种流行的大型语言模型在真实代码库中的编码能力，并发现这些模型的编码能力在真实世界的代码库中存在缺陷。

    May, 2024

  • 代码生成评估的基准和指标：一项关键性回顾

    对大型语言模型在编程任务中的评估工作进行了关键综述，着重讨论了现有工具的评估中使用的基准和度量标准，并提出了进一步研究的方向。

    Jun, 2024

  • VerilogEval：用于 Verilog 代码生成的大型语言模型的评估

    该论文提出了一种专门为评估大型语言模型在硬件设计和验证中的 Verilog 代码生成性能而设计的基准测试框架，演示了预训练语言模型的 Verilog 代码生成能力可以通过使用 LLM 生成的合成问题 - 代码对进行监督微调来提高。

    Sep, 2023

  • 通过不平衡数据分类基准评估量子生成模型

    使用可解释的人工智能技术对从 20 个真实数据集生成的合成数据进行分析，探究了一种混合量子 - 经典神经网络生成模型的特点和适用性，并与处理类别不平衡的最先进方法进行比较。

    Aug, 2023

  • NaturalCodeBench: 检视 HumanEval 和自然用户提示对编码性能不匹配的问题

    大型语言模型在生产性活动的代码生成方面表现出强大的能力。然而，当前的代码合成基准主要面向算法和数据科学的入门任务，在真实世界的编码中对具有挑战性的要求不够满足。为了填补这一差距，我们提出了 NaturalCodeBench（NCB）作为一个具有挑战性的代码基准，旨在模拟真实编码任务的复杂性和多样性。NCB 由来自在线编码服务的自然用户查询中精心挑选的 402 个高质量问题组成，涵盖了 6 个不同领域。我们还引入了半自动化流程来提高测试用例构建的效率，相比手动解决方案，效率提高了 4 倍以上。我们对 39 个大型语言模型进行了系统实验，发现在 NCB 上，具有接近 HumanEval 评分的模型之间的性能差距仍然可能很大，表明对实际代码合成场景的关注不足或在 HumanEval 上过度优化。另一方面，即使是表现最佳的 GPT-4 在 NCB 上仍然远未令人满意。评估工具和开发集可在此 URL 获取。

    May, 2024

  • DevEval: 评估实际软件项目中的代码生成

    通过提出一个与开发者在实践项目中的经验相一致的新基准 DevEval，我们评估了五个热门的大型语言模型在代码生成方面的实际能力，揭示了它们的实际表现，并讨论了在实践项目中代码生成的挑战和未来发展方向。

    Jan, 2024