Feb, 2024

基于神经网络的代码理解的重要性导向数据增强

PDF
TL;DR通过引入通用的数据增强框架 GenCode，该论文提出了一种用于增强代码理解模型训练的方法，通过代码转换技术生成新的代码候选项，并利用重要性度量选择重要的代码作为训练数据，实验证明 GenCode 相比 MixCode 增强方法，在平均准确率上提高了 2.92% 并且在鲁棒性方面提高了 4.90%。
发现论文，激发创造
  • 探索代码生成任务的数据增强技术

    本文探讨了自然语言处理、迁移学习和数据利用等技术在编程语言任务中的应用以及基于增强方法的模型训练，该方法可使代码翻译和摘要的准确率分别提高至 6.9% 和 7.5%。

    Feb, 2023

  • 数据增强在源代码学习中的应用：一项实证研究

    本篇研究探讨使用数据增强方法，如 mixup 和 syntax-breaking，对于用于源代码语言的训练数据的质量提升，结果表明这些方法可以产生更准确和稳健的模型。

    Mar, 2023

  • MIXCODE: 基于 Mixup 的数据增强技术提升代码分类性能

    本文提出了一种名为 MIXCODE 的数据增强方法，通过使用多个代码重构方法生成变换的代码，并使用 Mixup 技术将原始代码与变换后的代码混合以增加训练数据，从而在代码分类和缺陷检测等代码任务中有效地补充有效的训练数据，并使性能提高了 6.24％的准确度和 26.06％的健壮性。

    Oct, 2022

  • 面向源代码模型的数据增强方法：综述

    该研究综述了针对源代码资料的数据增广方法，构建了一种源代码模型数据增广的分类方法，并探讨了代表性方法、优化策略、广泛接受的源代码场景和下游任务，以及未来研究的潜在挑战和可能性。

    May, 2023

  • 通过自我改进获得更好的代码语言模型

    该研究提出了一个简单的数据增强框架，利用预训练和微调阶段获得的知识来生成伪数据，以进一步提高 PLMC 的性能，在 CodeXGLUE 基准测试中的代码摘要和代码生成等方面取得了显著的改进。

    Apr, 2023

  • 贝叶斯数据增强方法用于深度模型学习

    提出了一种基于贝叶斯公式，利用广义蒙特卡洛期望最大化算法和生成对抗网络的方法，能更好地生成新的标注训练样本，并在 MNIST，CIFAR-10 和 CIFAR-100 的数据集中取得了优于现有数据增强方法和 GAN 模型的分类结果。

    Oct, 2017

  • CodeFort：代码生成模型的强化训练

    用 CodeFort 框架提高代码生成模型的鲁棒性，通过丰富训练数据并采用多种训练策略，包括混合数据增强、批量数据增强、对抗性 Logits 对齐和对比学习，将基准 CodeGen 模型的平均鲁棒通过率从 14.79% 提高到 21.74%，尤其在对代码语法扰动的鲁棒性上，通过率的降低显著减少了从 95.04% 到 53.35%。

    Apr, 2024

  • 探索代码搜索中的表示层增广

    本研究提出了一种在表示级别进行数据增强的方法来提高代码搜索模型的性能，其中包括三种新的增强方法，并理论和实验评估了这些方法的优势。

    Oct, 2022

  • NatGen: 自然化源代码的生成式预训练

    本文提出了一种新的预训练目标 —— 源代码的自然化，在大规模的自然代码库中通过引入非自然代码形式的六类语义保持变换，来训练生成等效但更加自然的代码，进一步提升了自然代码的统计学习能力，实现了三种软件工程任务的生成，翻译和细化，达到了 CodeT5 的水平。

    Jun, 2022

  • 基于生成型人工智能数据增强的软件元数据分类的影响研究

    该研究论文提出了一种系统，用于自动预测代码 - 注释对的有用性，并研究了大型语言模型生成的数据对原始基础数据以及相应源代码的影响。通过使用评论和相应代码的神经上下文表示来训练基于机器学习的模型，我们开发了一个框架来预测代码 - 注释对的有用性，并分析了与基础数据使用 LLM 生成数据的性能。在官方评估中，我们的系统相对于基准线提高了 4% 的 F1 得分，并提高了生成数据的质量。

    Oct, 2023