大语言模型的程序综合

Aug, 2021

Program Synthesis with Large Language Models

Jacob Austin, Augustus Odena, Maxwell Nye, Maarten Bosma, Henryk Michalewski...

TL;DR本文探索了大型语言模型在通用编程语言的程序合成方面的局限性，并在新的基准测试中评估了这些模型的性能。作者在两个基准测试（MBPP 和 MathQA-Python）上测试了这些模型，结果表明这些模型的性能随着其大小的增加而呈现对数线性关系。他们研究了这些模型进行对话以及语意建模的能力，并发现即使是最好的模型也无法完全预测某些程序的输出。

Abstract

This paper explores the limits of the current generation of large language models for program synthesis in general purpose programming languages. We evaluate a collection of such models (with between 244M and 137B parameters) on two new benchmarks, MBPP and MathQA-Python, in both the f

large language models program synthesis few-shot learning dialog systems semantic grounding

发现论文，激发创造

CodeGen: 一个用于代码的开放式大语言模型，支持多轮程序综合

本文介绍了一种基于大型语言模型的程序合成方法，其中所训练的模型在自然语言处理和编程语言数据上具有竞争力，以及构建的开放式基准 Multi-Turn Programming Benchmark，该基准将单个程序分解为多个提示，从而显着提高了程序综合的准确性。本文提供了 JAXFORMER 的开放源码，以便更广泛地使用。

Mar, 2022

Jigsaw: 大型语言模型与程序综合的结合

本文研究了利用基于语义分析和综合技术的后处理步骤来增强大型预训练语言模型，并通过使用 Python Pandas API 的多模态输入来合成代码。

Dec, 2021

用于代码的大型语言模型的程序测试能力

利用对最近的大型语言模型进行了代码测试的详尽分析，本研究展示了这些模型的一系列有趣性质，并展示了如何改进大型语言模型的程序测试能力，通过利用生成的测试用例来提高合成程序的质量，相较于 GPT-3.5-turbo 和最新的最先进技术，我们的方法在 HumanEval + 上的代码通过率分别提高了 11.77% 和 4.22%。

Oct, 2023

代码生成模型的多语言评估

本文提出了新的基准测试，包括 MBXP，Multilingual HumanEval 和 MathQA-X，以测试多语言环境下代码生成模型的性能，并发现了多语言模型的优势，以及通过 few-shot prompting 实现对模型新语言的教学能力和在单语言环境下的 zero-shot translation 能力。同时，作者还利用其代码生成模型在多种语言上实现了大规模引导过程，产生了其他与代码相关的评估任务中使用的合成规范解决方案。

Oct, 2022

大型语言模型程序

通过使用嵌入式算法来扩展预训练语言模型的能力，作者提出了一种证据支持的问答方法来展示这种方法的优势，相比于传统的 fine-tuning 方法，该方法获得了 6.4％的改进。

May, 2023

基于大语言模型的全自动编程

本文探讨了使用 Large Language Models 进行程序合成时，实现 Synthesize，Execute，Debug 方法的方法，包括替换或修复故障程序，以及不同基于模板和基于模型的提示生成技术，取得了比传统方法更好的表现。

Apr, 2023

DeepCode AI Fix: 用大型语言模型修复安全漏洞

使用大型语言模型的程序修复任务中，通过降低训练数据量、使用代码剪裁技术及构建全面的代码修复数据集，我们的系统能够在更少的案例中准确匹配人工修复，并显著提升可用模型的性能。

Feb, 2024

长指令摘要：化繁为简的程序综合

通过使用汇总版本来去除大型预训练语言模型中的无关信息，构建元数据集并测试在编程问题上的性能，从而提高了在各种编程问题中的性能表现。

Mar, 2022

自然语言规格说明到数学程序的综合

研究评估了使用数据增强、后处理和代码生成模型 CodeT5 合成数学程序的效果，通过应用线性规划规则来评分和纠正光束，该方法基于自然语言规范实现自动化建模。实验结果表明，在使用这些增强方法后，CodeT5 基础版本的执行准确率为 0.73，明显优于 ChatGPT 的零 - shot 执行准确率 0.41 和 Codex 的 0.36。

Mar, 2023

自然语言编程学习

使用自然语言作为一种新的编程语言来描述任务过程，让其易于被人类和 LMMs 理解，并进一步借助 Learning to Program (LP) 方法通过学习来自训练集中的自然语言程序，优化复杂任务的问题解决能力，该方法在 AMPS 和数学两个数据集上的有效性得到验证，证明其性能超过直接零样本测试表现 18.3%。

Apr, 2023