Apr, 2023

通过自我改进获得更好的代码语言模型

PDF
TL;DR该研究提出了一个简单的数据增强框架，利用预训练和微调阶段获得的知识来生成伪数据，以进一步提高 PLMC 的性能，在 CodeXGLUE 基准测试中的代码摘要和代码生成等方面取得了显著的改进。
pre-trained language models for codedata augmentationcode summarizationcode generationcodexglue benchmark
发现论文，激发创造
  • 探索代码生成任务的数据增强技术

    本文探讨了自然语言处理、迁移学习和数据利用等技术在编程语言任务中的应用以及基于增强方法的模型训练，该方法可使代码翻译和摘要的准确率分别提高至 6.9% 和 7.5%。

    Feb, 2023

  • 代码需要注释：用注释增强代码 LLMs

    我们研究了大型语言模型的编程技能对其性能的影响，并引入了一种新的数据增强方法和筛选策略来提高预训练数据在代码相关的语言模型性能上的表现。实验证明，使用增强数据训练的模型在两个广泛使用的编程技能评估上的表现优于生成评论的模型和没有使用增强数据进行训练的模型。

    Feb, 2024

  • 使用预训练语言模型生成数据集

    本文介绍了一种利用预训练语言模型生成标注文本数据集的方法，从而实现高质量的无监督学习得到的句子嵌入。实验结果表明，这种方法在多个语义文本相似性测试数据上实现了比较好的性能表现。

    Apr, 2021

  • 预训练语言模型在低资源编程语言中的可转移性

    研究表明，在多语言数据集中使用语料库来微调预训练的多语言自然语言处理模型 (PLMs) 能够获得更高的性能，但是没有对单语言 PLMs 进行分析。此外，不同的编程语言之间的代码通常不能互换，我们调查了单语言和多语言 PLMs 对不同编程语言的影响，分析了超过一百个预训练模型和微调模型，结果表明，多语言 PLMs 具有更低的性能 - 时间比 (在微调期间的 BLEU，METEOR 或 MRR 分数)，我们提出的目标编程语言选择策略能够在减少微调时间的同时在代码摘要和代码搜索任务中实现更高的性能，并且我们的策略在不同代码长度上表现良好。

    Apr, 2022

  • 关于在代码的预训练语言模型中使用连续学习以实现针对分布外的泛化

    本文提出可解决 Pre-trained language models 在软件代码动态环境下 catastrophic forgetting 问题的五种 continual learning methods，并在两个 downstream tasks 中取得可比较或优越的表现。

    May, 2023

  • CodeT5+: 用于代码理解和生成的开源大型语言模型

    提出了一种名为 CodeT5 + 的编译器 - 解码器语言模型，具有灵活的组件模块和多样化的预训练任务，能够在不同的代码相关基准测试中取得最先进的结果，特别是在针对人类评估的代码生成任务中。

    May, 2023

  • 大型语言模型可自我提升

    本文提出了一种方法，使用未标注的数据进行自我训练和推理提高，通过 fine-tuning 在多个任务上达到了 SOTA 水平。

    Oct, 2022

  • 使用预训练语言模型进行自动 ICD 编码

    本文旨在分析预训练语言模型在自动 ICD 编码任务上表现不佳的原因，并提出了 PLMICD 框架来克服该问题，实验证明该框架在 ICD 编码任务上能够取得最先进的性能。

    Jul, 2022

  • 基于模态相对预训练的文本到代码生成

    通过改变序列令牌的表示方式，依据所属的模态性进行进一步的模型预训练，并在文本与代码生成任务中观察到一致的改进。

    Feb, 2024

  • 通过外部引导对预训练语言模型进行噪声抗干扰微调

    使用嘈杂标签，通过引导大型语言模型来提高预训练语言模型（PLM）的微调过程，以区分干净样本和嘈杂样本，并提供嘈杂标签之外的辅助信息，从而增强学习过程。

    Nov, 2023