Jun, 2022

NatGen: 自然化源代码的生成式预训练

PDF
TL;DR本文提出了一种新的预训练目标 —— 源代码的自然化，在大规模的自然代码库中通过引入非自然代码形式的六类语义保持变换，来训练生成等效但更加自然的代码，进一步提升了自然代码的统计学习能力，实现了三种软件工程任务的生成，翻译和细化，达到了 CodeT5 的水平。
发现论文，激发创造
  • 基于模态相对预训练的文本到代码生成

    通过改变序列令牌的表示方式，依据所属的模态性进行进一步的模型预训练，并在文本与代码生成任务中观察到一致的改进。

    Feb, 2024

  • 无监督编程语言翻译：总结和生成到回译

    本文提出了通过代码摘要和生成实现反向翻译的方法，该方法通过自然语言（NL）摘要生成源代码，然后通过源代码再生成目标语言。结果表明，该方法与现有的最先进方法相比性能相当好。

    May, 2022

  • SPT-Code: 序列到序列预训练，用于学习源代码表示

    本文介绍了一种新的基于序列到序列（sequence-to-sequence）的编码表示学习预训练模型 SPT-Code，通过三种特定的预训练任务，可以解决现有预训练任务在自然语言编码中存在的问题，该模型可以有效地应用于五个编码相关的下游任务，并取得了最优秀的表现。

    Jan, 2022

  • 程序理解和生成的统一预训练

    PLBART 是一个可进行广泛的程序和语言理解和生成任务的序列到序列模型，已在 Java 和 Python 函数和相关的自然语言文本上进行预训练，实验证明其在代码总结、生成和翻译方面表现优异，同时在程序理解方面也表现出色。

    Mar, 2021

  • 利用预训练技术引入外部知识进行自然语言转码

    本研究通过整合来自 StackOverflow 和编程语言 API 文档等两个不同来源的知识，采用数据增强和检索重采样等方法，提高了 CoNaLa 代码生成测试集上的 BLEU 分数，从而探索了将自然语言转为 Python 代码的任务的有效性。

    Apr, 2020

  • CodeBERT：编程和自然语言的预训练模型

    CodeBERT 是一种双模态预训练模型，支持自然语言和编程语言应用，基于 Transformer 神经架构，通过替换标记检测的预训练任务进行训练，表现出卓越的性能和前瞻性。

    Feb, 2020

  • CodeT5: 面向标识符的统一预训练编码器 - 解码器模型用于代码理解与生成

    CodeT5 是一个基于编码器 - 解码器的统一预训练 Transformer 模型，它充分利用了开发人员分配的标识符所传达的代码语义，通过支持代码理解和生成任务以及多任务学习等方面，显著优于先前的方法，并且在代码缺陷检测和克隆检测等理解任务以及 PL-NL，NL-PL 和 PL-PL 等不同方向的生成任务中表现出色。

    Sep, 2021

  • GenCodeSearchNet：编程语言理解中泛化能力评估的基准测试套件

    使用大规模生成模型和较小的编码器模型，语言模型可以帮助软件开发人员提高生产力，包括代码生成、代码补全、代码搜索等任务，并且可以通过新的基准数据集 GenCodeSearchNet (GeCS) 来评估语言模型对编程语言理解的泛化能力。

    Nov, 2023

  • 源代码合成与完成的神经模型

    本研究提出了一种基于序列到序列深度学习模型的自然语言到编程语言的建议系统，可以根据自然语言的意图建议源代码片段，并扩展源代码的自动补全功能。该系统通过上下文感知的神经模型直接生成源代码标记，而不是从源代码生成解析树 / 抽象意义表示再转换成源代码。此外，提出的架构还使用预训练策略和数据增强技术来提高性能，并且在 BLEU-4 指标上超过了神经语义解析器 TranX 的表现约 10.82%。该系统还可以用于生成源代码的自然语言文档，并提出了基于 RoBERTa 的掩码语言模型来扩展该系统用于代码补全。

    Feb, 2024

  • 机器学习在大规模代码和自然语言中的应用调查

    本文综述了机器学习、编程语言和软件工程交叉领域的研究进展，重点介绍了利用代码中大量存在的模式提出可学习概率模型的方法，并提出了基于每个模型的基本设计原理的分类法，用于研究该领域的技术、应用等方面的具体问题、挑战和机遇。

    Sep, 2017