Jul, 2023

高质量代码生成的轻量级框架

PDF
TL;DRFRANC 是一个轻量级框架，用于推荐从基于 Transformer 的代码生成模型生成的更安全、更高质量的源代码，其中包括静态筛选器，质量感知排名器和提示工程学。在五个 Python 和 Java 代码生成模型和六个提示数据集上进行了评估，静态筛选器可以使 Java 的建议准确性提高 46％，Python 的建议准确性提高 43％。
automated source code generationtransformer-based generative modelsfrancquality issuesprompt engineering
发现论文，激发创造
  • 研究在 FRANK QA 系统中使用释义生成进行问题改写的应用

    通过评估释义生成方法实现提高 FRANK 问答系统可回答的自然语言问题的多样性，该研究分析了 LC-QuAD 2.0 数据集上的自动度量和人工判断，并讨论了它们之间的相关性，同时对包含错误的数据点进行了错误分析。通过将最佳执行的释义生成方法（一种英 - 法反向翻译）模拟到 FRANK 中进行测试，作者得出两个主要结论：需要清理 LC-QuAD 2.0 数据以消除评估中的错误，而且由于 FRANK 的解析器存在限制，释义生成不是我们可以依赖的一种提高 FRANK 回答自然语言问题多样性的方法。

    Jun, 2022

  • 大型语言模型是代码生成领域最先进的评估器

    本研究提出了一个基于 GPT-3.5 的评估框架，用于评估代码生成的功能正确性和人类偏好，能够在不需要测试 oracle 或参考文献的情况下，达到比 CodeBERTScore 更高的准确性和一致性。

    Apr, 2023

  • Hints-In-Browser：针对编程反馈生成的语言模型基准测试

    通过在浏览器中进行推理的新范式，基于生成技术的人工智能和大型语言模型能够在编程教育中生成个性化反馈和提示，本文通过基准测试语言模型在编程反馈生成中的质量、成本、时间和数据隐私等多个性能标准，展示了与浏览器推理引擎兼容的小型模型的反馈质量提升，并使用 WebLLM 的浏览器推理引擎在三个不同的 Python 编程数据集上展示了经过精调的 Llama3-8B 和 Phi3-3.8B 4 位量化模型的有效性，同时提供完整的实现、Web 应用和数据集以促进进一步的浏览器语言模型研究。

    Jun, 2024

  • CodeGRAG: 提取合成句法图以增强检索的跨语言代码生成

    通过使用 Syntax Graph Retrieval Augmented Code Generation (CodeGRAG) 模型，可以提高大型语言模型在单轮代码生成任务中的性能，填补编程语言和自然语言之间的差距，并使用外部结构化知识作为不同编程语言之间的桥梁，从而显著提高语言模型的代码生成能力。

    May, 2024

  • 代码生成模型的多语言评估

    本文提出了新的基准测试，包括 MBXP，Multilingual HumanEval 和 MathQA-X，以测试多语言环境下代码生成模型的性能，并发现了多语言模型的优势，以及通过 few-shot prompting 实现对模型新语言的教学能力和在单语言环境下的 zero-shot translation 能力。同时，作者还利用其代码生成模型在多种语言上实现了大规模引导过程，产生了其他与代码相关的评估任务中使用的合成规范解决方案。

    Oct, 2022

  • PanGu-Coder2: 通过排名反馈提升代码的大规模语言模型

    通过 RRTF (Rank Responses to align Test&Teacher Feedback) 框架，我们提出了 PanGu-Coder2，它在 OpenAI HumanEval 基准测试中实现了 62.20% 的 pass@1，并通过对 CoderEval 和 LeetCode 基准测试的广泛评估显示，PanGu-Coder2 始终优于所有之前的 Code LLMs。

    Jul, 2023

  • CodeFusion：一种用于代码生成的预训练扩散模型

    在此研究中介绍了 CodeFusion 预训练扩散代码生成模型，通过迭代地去噪编码自然语言的完整程序来解决自回归模型无法重新考虑先前生成的令牌的局限性。通过对 Bash、Python 和 Microsoft Excel 条件格式规则的自然语言转代码生成任务的评估，实验证明 CodeFusion（7500 万参数）在一级准确率上与现有自回归系统（350 万至 1750 亿参数）表现相当，并且在前三和前五的准确率上优于它们，这归功于其在多样性与质量之间更好的平衡。

    Oct, 2023

  • 重写代码：大型语言模型增强代码搜索的简单方法

    通过对代码搜索中的样例代码进行生成和重写，我们提出了一种简单而有效的方法来解决代码风格偏差的问题，并引入了用于量化代码风格相似性的度量指标 Code Style Similarity。实验证明，这种方法在不同的搜索场景中显著提高了检索准确性。

    Jan, 2024

  • 代码块的文本描述性注释自动生成

    该研究提出了一种利用递归神经网络框架，对源代码块自动生成描述性注释的方法，并通过将代码转化为向量的方式，利用循环神经网络生成文本描述，相比于其他基于序列到序列模型的方法具有更高的准确性。

    Aug, 2018

  • JaCoText：用于 Java 代码文本生成的预训练模型

    本文介绍了一种基于 Transformer 神经网络的模型 JaCoText，旨在将自然语言文本生成 java 源代码。通过在强大的预训练模型上初始化，探索我们的 java 数据集上的额外预训练，以及在训练中结合单模态和双模态数据的实验，以及在模型的微调期间缩放输入和输出长度等方法，经过 CONCODE 数据集的实验表明，JaCoText 取得了新的最先进的结果。

    Mar, 2023