Apr, 2024

CodeFort：代码生成模型的强化训练

PDF
TL;DR用 CodeFort 框架提高代码生成模型的鲁棒性，通过丰富训练数据并采用多种训练策略，包括混合数据增强、批量数据增强、对抗性 Logits 对齐和对比学习，将基准 CodeGen 模型的平均鲁棒通过率从 14.79% 提高到 21.74%，尤其在对代码语法扰动的鲁棒性上，通过率的降低显著减少了从 95.04% 到 53.35%。
发现论文，激发创造
  • ReCode: 代码生成模型的健壮性评估

    本文提出一种针对代码生成模型综合鲁棒性评估的基准测试 ReCode，并定制了超过 30 种变形以评估模型的鲁棒性性能，同时提出了针对每种扰动类型的鲁棒性度量，重点观察了在 SOTA 模型上的表现，发现 CodeGen 比 InCoder 和 GPT-J 更具鲁棒性，模型对语法扰动最敏感，同时表明 MBPP 上的鲁棒性评估更具挑战。

    Dec, 2022

  • 数据增广提升 AI 攻击代码生成器的鲁棒性

    本文利用自然语言中新的输入，即代码描述的扰动，在安全导向的代码环境下分析了这些扰动对 AI 进攻代码生成器性能的影响，并使用该方法进行了数据增强以增加训练数据的变化和多样性，证明其对扰动和非扰动代码描述的有效性。

    Jun, 2023

  • 基于神经网络的代码理解的重要性导向数据增强

    通过引入通用的数据增强框架 GenCode，该论文提出了一种用于增强代码理解模型训练的方法，通过代码转换技术生成新的代码候选项，并利用重要性度量选择重要的代码作为训练数据，实验证明 GenCode 相比 MixCode 增强方法，在平均准确率上提高了 2.92% 并且在鲁棒性方面提高了 4.90%。

    Feb, 2024

  • 代码的对抗鲁棒性

    本文探讨神经模型在代码领域中的敌对鲁棒性问题，通过实例化针对代码的对抗攻击，并结合现有和新技术提高模型鲁棒性，同时保持高准确性。

    Feb, 2020

  • 利用生成的数据提高鲁棒性

    本文探讨了如何使用仅基于原始训练集的生成模型来人为地增加原始训练集的大小并提高对扰动的鲁棒性，并证明了即使添加非现实的随机数据也可以提高鲁棒性。在 CIFAR-10、CIFAR-100、SVHN 和 TinyImageNet 上进行了大量的绝对准确度改进，对于常见扰动的数据集，本文方法的结果优于大多数使用外部数据的先前工作。

    Oct, 2021

  • 提高对抗鲁棒性的数据增强修复

    本文研究对抗训练的过拟合问题，提出利用数据增强和生成模型增加训练集大小，提高对抗鲁棒性，并在 CIFAR-10 数据集上取得最新成果，其中对于 Ε=8/255 的 l∞规范扰动，模型不使用外部数据时达到 64.20％的鲁棒准确性，超过了大多数先前使用外部数据的研究成果。

    Mar, 2021

  • 探索代码生成任务的数据增强技术

    本文探讨了自然语言处理、迁移学习和数据利用等技术在编程语言任务中的应用以及基于增强方法的模型训练，该方法可使代码翻译和摘要的准确率分别提高至 6.9% 和 7.5%。

    Feb, 2023

  • 数据增强能提高稳健性

    本文研究减轻对抗训练中的过拟合现象，使用常见的数据增强方案，证明数据增强与模型平均结合可以显著提高鲁棒性，尤其是空间组合技术的效果最佳，最终在 CIFAR-10、CIFAR-100、SVHN 和 TinyImageNet 上得到了明显的性能提升。

    Nov, 2021

  • 源代码模型的语义鲁棒性

    研究表明，在源代码模型中，深度神经网络容易受到对代码功能保留的参数语义程序转换序列引起的对抗性示例的影响，我们发现对抗性训练可以显著提高模型的鲁棒性。

    Feb, 2020

  • 探索大型语言模型在解决编程问题中的鲁棒性

    该研究探讨了大型语言模型在编程问题中的应用，发现最新技术如 InstructGPT 和 ChatGPT 在处理指令时表现优异，而早期使用变量名如 Codex 的模型的性能受描述问题时表浅的指标较大影响。

    Jun, 2023