Feb, 2024

代码需要注释：用注释增强代码 LLMs

PDF
TL;DR我们研究了大型语言模型的编程技能对其性能的影响，并引入了一种新的数据增强方法和筛选策略来提高预训练数据在代码相关的语言模型性能上的表现。实验证明，使用增强数据训练的模型在两个广泛使用的编程技能评估上的表现优于生成评论的模型和没有使用增强数据进行训练的模型。
programming skilllarge language modelspre-training datacode-focused llmsdata augmentation
发现论文，激发创造
  • 利用大型语言模型自动化生成补丁集合从代码审查评论中

    评估预训练的大型语言模型（LLMs）在复制开发人员在代码审查评论中传统执行的任务方面的效果，通过比较它们生成的修补程序集与相同代码库的人工生成的修补程序集的历史数据，来确定 LLMs 的反馈的准确性、相关性和深度，从而评估它们支持开发人员应对代码审查评论的准备程度。

    Apr, 2024

  • 辅助清理代码的 LLM 用于培训准确的代码生成器

    通过改善数据质量，例如进行代码转换和模块化，自然语言生成代码的性能可以得到显著提升。研究结果还表明，使用较少但高质量的数据进行模型微调可以优于在原始数据集上进行微调。

    Nov, 2023

  • 代码到注释的翻译：数据、度量、基准和评估

    本文在研究代码注释生成中，分析了采用翻译模型的可行性以及 BLEU 得分的校准方法，并提出了基于信息检索方法的合理基准线以及未来研究方向的建议。

    Oct, 2020

  • 自然逻辑枢轴的评论：通过评论角度改进代码生成

    借助注释作为代码 LLMs 生成能力的增强策略，MANGO 显著提高了代码通过率，并且逻辑注释解码策略的鲁棒性明显高于思路链引导。

    Apr, 2024

  • 提升代码大型语言模型的自然语言能力

    提出了一个新的框架，通过集成传统自然语言处理工具，从自然语言需求文本中提取关键词短语，并生成目标代码以解决需求，从而有效提高代码大型语言模型的性能。通过创建一个新的多自然语言代码生成基准测试集，实验证明了该框架的有效性。

    Jan, 2024

  • 通过自我改进获得更好的代码语言模型

    该研究提出了一个简单的数据增强框架，利用预训练和微调阶段获得的知识来生成伪数据，以进一步提高 PLMC 的性能，在 CodeXGLUE 基准测试中的代码摘要和代码生成等方面取得了显著的改进。

    Apr, 2023

  • 探索大型语言模型用于代码解释

    使用各种大型语言模型自动生成代码片段的自然语言摘要，研究结果表明，代码语言模型优于其通用模型，而零 - shot 方法在训练集和测试集之间分布不同的数据集上取得了更好的结果。

    Oct, 2023

  • 基于代码更改的自然语言注释更新学习

    本文提出一种通过学习不同的自然语言表征和代码表征之间的关系，生成一系列编辑操作来更新现有自然语言注释的方法，并在开源软件项目集合上进行多个实验和对比，结果表明该模型性能优于其他算法。

    Apr, 2020

  • 基于生成型人工智能数据增强的软件元数据分类的影响研究

    该研究论文提出了一种系统，用于自动预测代码 - 注释对的有用性，并研究了大型语言模型生成的数据对原始基础数据以及相应源代码的影响。通过使用评论和相应代码的神经上下文表示来训练基于机器学习的模型，我们开发了一个框架来预测代码 - 注释对的有用性，并分析了与基础数据使用 LLM 生成数据的性能。在官方评估中，我们的系统相对于基准线提高了 4% 的 F1 得分，并提高了生成数据的质量。

    Oct, 2023

  • NeSy 活力四射：一种以 LLM 为驱动的符号化方法，用于更好的代码注释数据生成和分类

    我们提出了一种神经符号（NeSy）工作流，将基于符号的学习技术与大型语言模型（LLM）代理相结合，以生成 C 编程语言中用于代码注释分类的合成数据。我们还展示了如何使用此工作流生成可控的合成数据来修复基于 LLM 的生成的一些明显弱点，并提高经典机器学习模型在代码注释分类任务上的性能。我们的最佳模型，即神经网络，在数据增强后实现了 91.412% 的宏 F1 分数，提高了 1.033%。

    Feb, 2024