Apr, 2021

CodeTrans: 通过自监督深度学习和高性能计算破译硅谷代码语言

PDF
TL;DR本研究使用 CodeTrans—— 一种编码器 - 解码器 transformer 模型，在六个软件工程任务中探究了 encoder-decoder transformer 模型的有效性，并调查了各种训练策略的影响，包括单任务学习、迁移学习、多任务学习和多任务学习与微调。结果表明，CodeTrans 在所有任务上均优于现有模型。该研究为软件工程领域的未来工作提供了有力的支持，并公开了预训练模型。
natural language processingsource code languagetransformer modelencoder-decodersoftware engineering
发现论文，激发创造
  • TransCoder: 基于人类技能的统一可迁移代码表示学习

    本文介绍了 TransCoder，一种统一的用于代码表示学习的可转移微调策略，能够促进代码相关任务的卓越性能，并鼓励相互强化。

    May, 2023

  • CodeTF: 一站式 Transformer Library 为最先进的代码 LLM

    该研究介绍了 CodeTF—— 一个用于代码 LLMs 和代码智能的开源 Transformer-based 库，它支持众多预训练模型和常见代码基准，标准化的界面和数据特征提取工具。与其他相关工具相比较，CodeTF 采用了模块化设计和可拓展的框架，并致力于弥合机器学习 / 生成人工智能与软件工程之间的鸿沟，为开发者、研究人员和实践者提供全面开源的解决方案。

    May, 2023

  • StructCoder: 面向结构的代码生成 Transformer

    本研究利用编码器 - 解码器 Transformer 模型进行编码生成，使用诸如抽象语法树路径预测和数据流预测等辅助任务，结构感知地提高了生成代码质量，实现了代码翻译和文本到代码生成任务的最新性能状态。

    Jun, 2022

  • 使用 Text-To-Text Transfer Transformer 研究支持与代码相关的任务

    本文利用自然语言处理中的 T5 模型并进行深度学习的预训练和微调，以实现支持自动修复代码、代码注释生成等与代码相关任务的性能优化。

    Feb, 2021

  • TransformCode: 通过子树转换实现的代码嵌入的对比学习框架

    通过使用 Transformer 编码器作为模型的一个关键组成部分并引入了一个名为 TransformCode 的新型框架，该研究论文提出了一种基于对比学习方式学习代码嵌入的方法，并介绍了一种名为抽象语法树转换的新型数据增强技术，从而生成更多样化和稳健的锚点样本。该框架不仅灵活适应，可以扩展到其他需要代码表达的下游任务，而且效率高且可扩展性强，支持任何编程语言。

    Nov, 2023

  • 基于 Transformer 的源代码实证研究

    本文研究了如何使用 Transformers 提取和利用源代码中的句法信息，完成代码自动补全、函数命名和 bug 修复等任务，实现了更好的模型性能。

    Oct, 2020

  • 基于 Transformer 的源代码摘要方法

    本文探讨使用 Transformer 模型和自注意力机制来生成代码表示以进行源代码概述的任务，并提出其相对编码表现显著优于绝对编码，并通过实验验证其在处理长距离依赖性方面的有效性，实现了领先于现有技术的性能表现。

    May, 2020

  • 编程语言的无监督翻译

    在这篇论文中，我们提出了使用无监督机器翻译的最新方法来训练一种全自动的神经源代码转换器，并演示了它在 C ++，Java 和 Python 之间以高精度翻译功能。

    Jun, 2020

  • CodeT5: 面向标识符的统一预训练编码器 - 解码器模型用于代码理解与生成

    CodeT5 是一个基于编码器 - 解码器的统一预训练 Transformer 模型，它充分利用了开发人员分配的标识符所传达的代码语义，通过支持代码理解和生成任务以及多任务学习等方面，显著优于先前的方法，并且在代码缺陷检测和克隆检测等理解任务以及 PL-NL，NL-PL 和 PL-PL 等不同方向的生成任务中表现出色。

    Sep, 2021

  • 代码结构指导的源代码摘要变压器

    本文提出了一个名为 SG-Trans 的新颖方法，通过将本地符号信息和全局句法结构注入到 Transformer 的自注意模块作为归纳偏置，并设计能够分布在 Transformer 的较低层和高层的注意头中，进一步捕捉代码的层次特征，将其有效地集成到 Transformer 来实现深度学习自动生成代码摘要，经过广泛评估，SG-Trans 相对于最佳基准测试结果在两个基准数据集上分别提高了 1.4％和 2.0％的 METEOR 得分，这是一种广泛用于测量生成质量的指标。

    Apr, 2021