codebert | BriefGPT - AI 论文速递

关键词codebert

搜索结果 - 7

低资源语言中的软件漏洞预测：CodeBERT 和 ChatGPT 的实证研究
在新兴语言中，软件漏洞预测面临数据稀缺的挑战，CodeBERT 的性能显著下降，而 ChatGPT 展现出有希望的结果，在低资源情况下提高了功能级和行级软件漏洞预测性能。
PDF2 months ago
CodePrompt: 通过提示学习提升源代码相关分类的知识特征
CodePrompt 是一种新颖方法，利用 prompt 学习和注意机制从预训练模型中召回丰富的知识来提高源代码相关的分类任务的准确性。该方法避免了需要额外的神经网络层和降低计算成本，并采用注意机制来聚合多层相关知识作为最终特征，从而在准确
PDF6 months ago
基于 Transformer 的代码质量评估
使用 CodeBERT 自动为 Java 代码分配质量评分，同时探索不同模型和训练范式对于代码质量评估的准确性，并使用新颖数据集评估预测的质量，发现基于 Transformer 模型的任务适应预训练方法比其他技术更高效地解决该任务。
PDF10 months ago
自注意力能否强大到学会代码语法和语义？
本文研究了 CodeBERT 模型基于 AST 和静态分析，通过自我关注机制和 Masked Language Modelling（MLM）在令牌级别上学习代码语法和语义的能力，展示了其中自我关注机制在了解代码语法和语义方面的关键作用，并提
PDF2 years ago
使用表征相似性分析探索代码语言模型中的语义基础
本文利用相似性比较方法研究语言代码模型的语义基础，并通过 IBM CodeNet 数据集研究 CodeBERT 的语义基础。实验表明，现有的预训练方法并未引入语言代码模型的语义基础，而是集中优化基于形式的模式，而进行少量的语义相关任务的微调
PDF2 years ago
应用 CodeBERT 对 Java 简单缺陷进行自动化程序修复
本文提出一种基于 CodeBERT 的自动化程序修复方法，使用 ManySStuBs4J 小和大数据集对模型进行微调，能够准确地预测开发人员在 19-72％的情况下实现修复代码，并可以在不到一秒钟的时间内自动生成修复程序。
PDF3 years ago
EMNLPCodeBERT：编程和自然语言的预训练模型
CodeBERT 是一种双模态预训练模型，支持自然语言和编程语言应用，基于 Transformer 神经架构，通过替换标记检测的预训练任务进行训练，表现出卓越的性能和前瞻性。
PDF4 years ago