通过相互学习改善树状解码器训练，用于代码生成

May, 2021

通过相互学习改善树状解码器训练，用于代码生成

Improving Tree-Structured Decoder Training for Code Generation via Mutual Learning

Binbin Xie, Jinsong Su, Yubin Ge, Xiang Li, Jianwei Cui...

TL;DR本文提出了一种互联互通学习框架，以解决在神经代码生成模型中不同遍历方法的编码差异，并利用两种模型的互相蒸馏技术来提高模型的准确性。通过实验数据的支持，该模型在几个基准测试数据集上表现出很高的效果。

Abstract

code generation aims to automatically generate a piece of code given an input natural language utterance. Currently, among dominant models, it is treated as a sequence-to-tree task, where a decoder outputs a sequence of actions corresponding to the pre-order traversal of an

发现论文，激发创造

使用基于语法的树到树模型进行程序语言翻译

本文介绍了一种基于语法规则的树形解码器，用于在编程语言之间进行翻译，并发现该语法基础的树形模型在以前使用的合成任务中，在两种编程语言之间进行翻译方面优于最新的树形模型。

Jul, 2018

基于检索的神经代码生成

使用基于子树检索的方法来生成程序源代码。通过动态规划的句子相似性评分方法检索与输入句子相似的句子，提取建立相应抽象语法树的动作序列的n-gram，并增加导致检索到的n-gram动作子树出现在预测代码中的动作的概率。在两个代码生成任务中，ReCode方法提高了高达2.6 BLEU的性能。

Aug, 2018

一种基于语法的结构化CNN解码器用于代码生成

本文提出了基于语法的结构卷积神经网络用于代码生成，该模型可以预测编程语言的语法规则并生成代码，实验结果表明，相较于现有的循环神经网络方法，本文所提出的模型大幅提高了5个百分点的性能。

Nov, 2018

CodeT5: 面向标识符的统一预训练编码器-解码器模型用于代码理解与生成

CodeT5是一个基于编码器-解码器的统一预训练Transformer模型，它充分利用了开发人员分配的标识符所传达的代码语义，通过支持代码理解和生成任务以及多任务学习等方面，显著优于先前的方法，并且在代码缺陷检测和克隆检测等理解任务以及PL-NL，NL-PL和PL-PL等不同方向的生成任务中表现出色。

Sep, 2021

知识注入解码

通过一种名为KID的基于强化学习的算法，将外部知识动态地注入到生成语言模型的解码过程中，以解决语境相关性和事实准确性的问题，进而在多种知识密集型自然语言生成任务中体现出比许多优化后的模型更好的性能表现。

Apr, 2022

使用树形编码的Transformer实现神经程序生成

使用树形定位编码方案，结合自然语言分词词汇表，在编码任务中应用Transformers所能获得更好的效果

May, 2022

先决条件预测的重要性超乎你的想象：一种有效的基于树结构的代码生成方法

本文提出了一种名为Antecedent Prioritized Loss的有效方法，通过利用生成AST节点的位置信息，使模型将重要性附加给先行预测，以改善代码生成模型的性能。在四个基准数据集上进行的实验结果表明，该方法具有卓越性和普适性。

Aug, 2022

CodeT5+: 用于代码理解和生成的开源大型语言模型

提出了一种名为CodeT5+的编译器-解码器语言模型，具有灵活的组件模块和多样化的预训练任务，能够在不同的代码相关基准测试中取得最先进的结果，特别是在针对人类评估的代码生成任务中。

May, 2023

基于模态相对预训练的文本到代码生成

通过改变序列令牌的表示方式，依据所属的模态性进行进一步的模型预训练，并在文本与代码生成任务中观察到一致的改进。

Feb, 2024

探索预训练代码生成模型的代码理解能力

大型代码生成模型在自监督学习的基础上取得了显著的成功，但它们在代码理解任务上表现不佳。本文将知识从预训练的代码生成模型转移到代码理解任务中，显著降低了训练成本，实现了理解任务的最先进性能。

Jun, 2024