Oct, 2023

CrossCodeEval：用于跨文件代码补全的多样化和多语言基准

PDF
TL;DR通过对多文件、多语言代码完成任务进行深入研究，提出了一个多样化的、多语言的、需要深入理解跨文件上下文的代码完成基准，通过静态分析来准确定位需要跨文件上下文的实例，并证明跨文件上下文对于完整代码的准确性有着显著的影响。此外，还对检索跨文件上下文的各种方法进行了评估，并且展示了该基准的能力在衡量代码检索器的能力方面。
code completioncross-file contextmultilingual code completion benchmarkstatic analysisextensive context
发现论文，激发创造
  • CoCoMIC: 通过联合建模文件内和跨文件上下文进行代码自动补全

    该研究工作提出了基于预训练代码语言模型的跨文件语境学习框架 CoCoMIC，通过有效地定位和检索最相关的跨文件语境，成功提高了代码完成的准确性。

    Dec, 2022

  • xCodeEval：一项用于代码理解、生成、翻译和检索的大规模多语言多任务基准测试

    人工智能正在开发出可以用于程序编写的 AI 系统，生成代码的自然语言描述，语言模型在生成代码的过程中表现出了良好的性能，但它们的评估通常只在少数语言和部分层次上进行，还需要更好的培训数据。

    Mar, 2023

  • 代码补全的语言模型：实践评估

    基于 Transformer 的语言模型在自动代码补全方面显示出巨大的潜力，但是这些模型的评估很少使用真实数据。本研究提供了对三个公共代码语言模型在完成真实世界代码时的定量和定性评估。

    Feb, 2024

  • 代码生成模型的多语言评估

    本文提出了新的基准测试，包括 MBXP，Multilingual HumanEval 和 MathQA-X，以测试多语言环境下代码生成模型的性能，并发现了多语言模型的优势，以及通过 few-shot prompting 实现对模型新语言的教学能力和在单语言环境下的 zero-shot translation 能力。同时，作者还利用其代码生成模型在多种语言上实现了大规模引导过程，产生了其他与代码相关的评估任务中使用的合成规范解决方案。

    Oct, 2022

  • 通过本地集成 IDE 导出的静态上下文增强 LLM 编码工具

    IDECoder 利用 IDE 提供的跨文件信息，改进了 Large Language Models 在大型软件项目的仓库级别代码补全任务中的性能。

    Feb, 2024

  • DevEval：与现实世界源代码仓库对齐的手动注释代码生成基准

    通过新的基准测试 DevEval，我们评估了 8 种流行的大型语言模型在真实代码库中的编码能力，并发现这些模型的编码能力在真实世界的代码库中存在缺陷。

    May, 2024

  • R2C2-Coder：提升和评估代码大型语言模型的真实世界仓库级代码补全能力

    基于大型语言模型的 R2C2-Coder 方法增强和评估了真实世界的代码仓库级代码补全能力，其中 R2C2-Coder 包括 R2C2-Enhance 方法和 R2C2-Bench 基准测试。

    Jun, 2024

  • HumanEval-XL：一种面向跨语言自然语言通用性的多语言代码生成评估基准

    使用人工评估的大规模多语言代码生成基准，填补了在多语言代码生成领域中评估自然语言泛化能力的空白。

    Feb, 2024

  • CrossCodeBench: 源代码模型的跨任务泛化基准测试

    本文提出了一个包括 216 个现有的与编程有关的任务，并以任务描述和指南等元信息进行注释的大规模基准，以评估模型的不同任务之间的泛化能力，展示出从任务指南进行的少量样本学习和学习方式带来的显著提升。

    Feb, 2023

  • 大型语言模型在完成可能存在漏洞的代码上表现不佳

    介绍和研究有潜在 bug 的代码补全问题，引入两个数据集，发现潜在 bug 显著降低 Code-LLMs 的性能，调查了几种后处理方法，但效果有限。

    Jun, 2023