使用大型语言模型进行代码生成的规划

ICLRMar, 2023

使用大型语言模型进行代码生成的规划

Planning with Large Language Models for Code Generation

Shun Zhang, Zhenfang Chen, Yikang Shen, Mingyu Ding, Joshua B. Tenenbaum...

TL;DR本文提出了一种新的 Transformer 解码算法 PG-TD，使用规划算法进行预见性搜索和引导 Transformer 生成更好的程序，可以生成具有更高性能的程序，提升了控制代码生成的能力，并设计了一种机制使算法具有计算效率。

Abstract

Existing large language model-based code generation pipelines typically use beam search or sampling algorithms during the decoding process. Although the programs they generate achieve high token-matching-based scores, they often fail to compile or generate incorrect outputs. The main r

transformer decoding algorithm planning-guided transformer decoding code generation large language models computational efficiency

发现论文，激发创造

计划、关注、生成：具备解码器规划功能的汉字级神经机器翻译

研究在字符级机器翻译中将规划机制与显式对齐的编码器 - 解码器架构相结合，开发了一种计划先行的模型，该模型可以计算源序列和目标序列之间的对齐，并构建一个建议的未来对齐矩阵和一个决策向量以确定是否遵循或重新计算计划。该机制受到了战略关注读者和写作者（STRAW）模型的启发，并通过 WMT'15 语料库上字符级解码器神经机器翻译的三个任务表现优异。我们的分析表明，我们的模型可以计算出具有定性直观性的对齐，并且使用更少的参数可以实现卓越的性能。

Jun, 2017

关于大语言模型的规划、搜索和记忆能力

通过对 GPT-4 在规划子领域中的表现进行全面检查，我们鉴定了大型语言模型在解决规划问题方面的优势和限制，并提出了改进领域特定大型语言模型的思维链能力的方法。这些结果为大语言模型在规划领域的潜在应用提供了宝贵的见解，并为未来的研究克服其限制和拓展其能力铺平了道路。

Sep, 2023

发挥每一步的价值：基于 LLM 的高质量 RTL 代码生成使用 MCTS

通过引入蒙特卡罗树搜索，并将其与自动转换器解码算法相结合，以解决现有大型语言模型在寄存器传输级代码生成中遇到的问题，从而实现能够生成可编译、功能正确且功耗性能区域（PPA）优化的代码。经实证评估，我们的技术在 RTL 代码集上通过对细调的语言模型进行评估，相对于仅使用提示的方法，一直能够生成功能正确的代码，并有效解决了朴素大型语言模型的 PPA 非感知缺陷。对于由最先进的大型语言模型（16 位加法器）生成的最大设计，我们的技术可以在延迟面积乘积方面实现 31.8% 的改进。

Feb, 2024

随机代码生成

本文研究了使用潜在随机过程来生成一致性代码以提高连贯性的技术，并在基于预训练的 GPT-2 的 CodeParrot 模型和 APPS 数据集的基础上使用了改进的时间控制模型进行了评估。

Apr, 2023

大型语言模型中编程思维的激活：面向代码生成

本文提出了一种名为 TiP 的方法，该方法将代码生成分解为两个步骤，逐步引导大型语言模型（LLMs）在编程逻辑中分析和实现要求，并在三个公共基准测试中进行了广泛的实验，结果表明 TiP 在多个指标上优于现有的基线 (ChatGPT)，且对于不同的 LLMs 具有有效性。

May, 2023

CodeT5: 面向标识符的统一预训练编码器 - 解码器模型用于代码理解与生成

CodeT5 是一个基于编码器 - 解码器的统一预训练 Transformer 模型，它充分利用了开发人员分配的标识符所传达的代码语义，通过支持代码理解和生成任务以及多任务学习等方面，显著优于先前的方法，并且在代码缺陷检测和克隆检测等理解任务以及 PL-NL，NL-PL 和 PL-PL 等不同方向的生成任务中表现出色。

Sep, 2021

使用树形编码的 Transformer 实现神经程序生成

使用树形定位编码方案，结合自然语言分词词汇表，在编码任务中应用 Transformers 所能获得更好的效果

May, 2022

宏观规划的数据生成文本技术

该论文提出了一种基于神经网络的文本生成模型，包含宏观规划阶段和生成阶段，能够有效地生成准确且连贯的文本，并在自动和人工评估中表现出色。

Feb, 2021

探索大型语言模型在解决编程问题中的鲁棒性

该研究探讨了大型语言模型在编程问题中的应用，发现最新技术如 InstructGPT 和 ChatGPT 在处理指令时表现优异，而早期使用变量名如 Codex 的模型的性能受描述问题时表浅的指标较大影响。

Jun, 2023

基于深度强化学习的执行代码生成

利用深度强化学习算法的 PPOCoder 框架，将预训练编程语言模型与外部执行反馈相结合，用于自动化代码生成任务，并在多项实验中展示了其在编译成功率和语法正确性方面的显著效果。

Jan, 2023