Mar, 2023

JaCoText：用于 Java 代码文本生成的预训练模型

PDF
TL;DR本文介绍了一种基于 Transformer 神经网络的模型 JaCoText，旨在将自然语言文本生成 java 源代码。通过在强大的预训练模型上初始化，探索我们的 java 数据集上的额外预训练，以及在训练中结合单模态和双模态数据的实验，以及在模型的微调期间缩放输入和输出长度等方法，经过 CONCODE 数据集的实验表明，JaCoText 取得了新的最先进的结果。
pretrained transformer-based modelsautomatic programming language generationjacotextjava source codeconcode dataset
发现论文，激发创造
  • 从自然语言文本生成 Java 代码的现有技术方法综述

    本文主要综述了深度学习模型在 Java 代码生成任务中的进展和发展，涉及到自然语言处理、基于 RNN 和 Transformer 的模型、CONCODE 数据集等方面，并对存在的方法、数据集、评估指标、未来发展等方面进行了详细介绍。

    Jun, 2023

  • CoTexT: 带有代码 - 文本变换器的多任务学习

    CoTexT 是一种预先训练的基于 Transformer 的编码器 - 解码器模型，用于学习自然语言与编程语言之间的代表性上下文，支持下游自然语言 - 编程语言任务，如代码概述 / 文档化，代码生成，缺陷检测和代码调试，并在 CodeXGlue 数据集中取得 SOTA 结果。

    May, 2021

  • 使用 Transformer 将自然语言转化为代码

    本文使用 CoNaLa 数据集，利用自注意力变换器结构解决了从自然语言描述中生成代码片段的问题，并表明其表现优于循环注意力编码器解码器，使用修改后的反向翻译和周期一致损失以端到端的方式训练模型，实现了 16.99 的 BLEU 分数，超过了 CoNaLa 挑战的先前基线。

    Feb, 2022

  • NatGen: 自然化源代码的生成式预训练

    本文提出了一种新的预训练目标 —— 源代码的自然化，在大规模的自然代码库中通过引入非自然代码形式的六类语义保持变换，来训练生成等效但更加自然的代码，进一步提升了自然代码的统计学习能力，实现了三种软件工程任务的生成，翻译和细化，达到了 CodeT5 的水平。

    Jun, 2022

  • 基于模态相对预训练的文本到代码生成

    通过改变序列令牌的表示方式，依据所属的模态性进行进一步的模型预训练，并在文本与代码生成任务中观察到一致的改进。

    Feb, 2024

  • CodeBERT：编程和自然语言的预训练模型

    CodeBERT 是一种双模态预训练模型，支持自然语言和编程语言应用，基于 Transformer 神经架构，通过替换标记检测的预训练任务进行训练，表现出卓越的性能和前瞻性。

    Feb, 2020

  • 从机器翻译到代码转换：生成高质量的混合语言文本

    本文研究如何用神经机器翻译模型生成印地语 - 英语混合语种句子。通过预训练和使用合成数据来提高模型性能，生成的文本可用于数据增强，提高了语言模型任务和自然语言推理任务的性能，人工评估和客观指标的结果展现出了接近或优于印地语为母语的人群工作者生成的混合语种文本。

    Jul, 2021

  • 使用 Text-To-Text Transfer Transformer 研究支持与代码相关的任务

    本文利用自然语言处理中的 T5 模型并进行深度学习的预训练和微调，以实现支持自动修复代码、代码注释生成等与代码相关任务的性能优化。

    Feb, 2021

  • 探索和评估个性化代码生成模型

    本文探讨评估 Transformer 模型微调来进行个性化编码生成，考虑三种方法：（i）自定义微调，（ii）轻量级微调，（iii）前缀微调，比较它们的效果和成本效益。

    Aug, 2022

  • 探索文本到文本变换器的使用，实现英语到印地语机器翻译的合成混合代码技术

    本研究尝试解决单语言和混合编码语言之间的翻译问题，针对单语英文到 Hinglish 的转换，我们提出了多种模型，其中使用事先训练的 mT5 和 mBART Transformer-based 编码器 - 解码器模型表现良好。同时，我们还提出了一种生成混合编码文本的无依存方法，并采用课程学习方法来提高语言模型性能。在不同的条件下，我们发现综合考虑有监督和无监督方式的生成代码混合技术竞争力强，在英语 - Hinglish 官方共享任务中我们的模型效果最佳。

    May, 2021