May, 2021

CoTexT: 带有代码 - 文本变换器的多任务学习

PDF
TL;DRCoTexT 是一种预先训练的基于 Transformer 的编码器 - 解码器模型，用于学习自然语言与编程语言之间的代表性上下文，支持下游自然语言 - 编程语言任务，如代码概述 / 文档化，代码生成，缺陷检测和代码调试，并在 CodeXGlue 数据集中取得 SOTA 结果。
cotexttransformer-based modelnl-pl taskscode summarizing/documentationcodexglue dataset
发现论文，激发创造
  • JaCoText：用于 Java 代码文本生成的预训练模型

    本文介绍了一种基于 Transformer 神经网络的模型 JaCoText，旨在将自然语言文本生成 java 源代码。通过在强大的预训练模型上初始化，探索我们的 java 数据集上的额外预训练，以及在训练中结合单模态和双模态数据的实验，以及在模型的微调期间缩放输入和输出长度等方法，经过 CONCODE 数据集的实验表明，JaCoText 取得了新的最先进的结果。

    Mar, 2023

  • SynCoBERT：针对代码表示的语法引导的多模式对比预训练

    本文提出了 SynCoBERT—— 一种语法引导的，多模态对比预训练方法，旨在更好地表示代码，其中设计了两种新的预训练目标 —— 标识符预测和 AST 边缘预测，并提出了多模态对比学习策略来最大化不同模态之间的互信息。经过广泛的实验，SynCoBERT 在与相同的预训练语料库和模型大小进行比较时，提高了与代码智能相关的四个下游任务的最新性能。

    Aug, 2021

  • CodeBERT：编程和自然语言的预训练模型

    CodeBERT 是一种双模态预训练模型，支持自然语言和编程语言应用，基于 Transformer 神经架构，通过替换标记检测的预训练任务进行训练，表现出卓越的性能和前瞻性。

    Feb, 2020

  • 用 LLMs 进行的自述文本风格转换提炼

    基于大语言模型和 CoT 提示的 CoTex 框架，在有限的平行数据集约束下，能够优于传统监督微调和知识蒸馏方法的无监督文本风格转换，特别是在资源有限的情况下，同时具有风格转换过程的透明解释。

    Mar, 2024

  • CodeT5: 面向标识符的统一预训练编码器 - 解码器模型用于代码理解与生成

    CodeT5 是一个基于编码器 - 解码器的统一预训练 Transformer 模型，它充分利用了开发人员分配的标识符所传达的代码语义，通过支持代码理解和生成任务以及多任务学习等方面，显著优于先前的方法，并且在代码缺陷检测和克隆检测等理解任务以及 PL-NL，NL-PL 和 PL-PL 等不同方向的生成任务中表现出色。

    Sep, 2021

  • UniXcoder：面向代码表示的统一跨模态预训练

    本文提出了一种统一的跨模态预训练模型 UniXcoder，使用前缀适配器控制模型行为并使用语法树和代码注释等交叉模态内容来增强代码表示。同时，利用多模态内容进行对比学习以学习代码片段代表，并使用跨模态生成任务在编程语言之间进行表示的对齐。该模型在五个代码相关任务上取得了最先进的结果，而注释和 AST 可以增强该模型。

    Mar, 2022

  • LocTex: 从本地文本监督中学习数据高效视觉表征

    本文提出了一种名为 LocTex 的计算机视觉方法，它利用了低成本的本地化文本标注和鼠标轨迹，通过对图像和标题的对比预训练和监督跨模态关注图，从而提供粗略的本地化信号，从而减少标注数据的数量。它学习到的视觉特征可以捕捉自由形式的标题的丰富语义和鼠标轨迹的准确本地化，可以转移到各种下游视觉任务中，并且比 ImageNet 的监督预训练方法可以将预训练数据集的大小缩小 10 倍或目标数据集的大小缩小 2 倍，同时在 COCO 实例分割上实现可比较甚至更高的性能。在拥有相同数量的注释的情况下，LocTex 在 PASCAL VOC 图像分类任务上比以前最先进的 “视觉 + 语言” 预训练方法提高了约 4% 的准确性。

    Aug, 2021

  • CodeT5+: 用于代码理解和生成的开源大型语言模型

    提出了一种名为 CodeT5 + 的编译器 - 解码器语言模型，具有灵活的组件模块和多样化的预训练任务，能够在不同的代码相关基准测试中取得最先进的结果，特别是在针对人类评估的代码生成任务中。

    May, 2023

  • 使用 Text-To-Text Transfer Transformer 研究支持与代码相关的任务

    本文利用自然语言处理中的 T5 模型并进行深度学习的预训练和微调，以实现支持自动修复代码、代码注释生成等与代码相关任务的性能优化。

    Feb, 2021

  • 使用 Transformer 将自然语言转化为代码

    本文使用 CoNaLa 数据集，利用自注意力变换器结构解决了从自然语言描述中生成代码片段的问题，并表明其表现优于循环注意力编码器解码器，使用修改后的反向翻译和周期一致损失以端到端的方式训练模型，实现了 16.99 的 BLEU 分数，超过了 CoNaLa 挑战的先前基线。

    Feb, 2022