Sep, 2023

预训练模型对即时缺陷预测的影响研究

PDF
TL;DR以不同的预训练模型为基础，探索了 Just-In-Time（JIT）缺陷预测任务中的性能差异、训练效率与模型分布的关系，以及输入敏感性，发现不同预训练模型在平衡数据集的少样本场景下具有更好的缺陷检测能力，特别是 CodeGPTJIT 和 GPT2JIT 在少于 2000 个训练样本的情况下，相比 DeepJIT 和 CC2Vec 获得更好的性能。
just-in-time defect predictionpre-trained modelsbackbonescommit codefew-shot scenarios
发现论文，激发创造
  • 探测源代码的预训练模型

    本研究探讨了预训练模型在代码处理中的广泛应用及其对识别语法结构、正确性、标识符、数据流和命名空间等方面的影响，并测试了使用给定目标进行预训练、模型大小变化以及微调的影响。

    Feb, 2022

  • 利用预训练模型进行故障分析三元组生成

    本文研究了利用 Transformer 模型的注意机制为下游任务生成半导体行业中的故障分析三元组（FATs）。发现使用 1.5B 参数进行训练的 GPT2 模型在 ROUGE 上的表现显著优于 BERT、BART 和 GPT3 等其他 Transformer 模型，在人类评估和结构化 FAT 数据方面引入了 Levenshstein 顺序评估度量（LESE）。

    Oct, 2022

  • 预训练代码模型了解哪些代码知识？

    本研究探索预训练模型在软件工程任务中的应用，通过四项探测任务评估模型对代码特征信息的理解程度，发现不同预训练模型表现有差异，其中 BERT 表现出乎意料的优异，但还需要深入研究。

    Aug, 2021

  • CommitBART：GitHub 提交专用的大型预训练模型

    本论文介绍了一种基于 GitHub 中代码提交记录的预训练模型 CommitBART，利用三种不同的任务进行预训练，并融合了一种 “提交智能” 框架来理解和生成代码提交记录，最终实验结果表明该模型在代码预训练上取得了重大的突破。

    Aug, 2022

  • INSPECT: 代码 Transformer 的内在和系统探测评估

    我们使用探测任务来检验预训练模型对源代码的学习程度，并发现结构信息对源代码的特征表示具有改进效果，同时发现 BERT 在某些探测任务上与源代码模型竞争力相当，暗示改进源代码特定的预训练有丰富的机会。

    Dec, 2023

  • 基于代码审查的自动化程序修复：预训练 Transformer 模型的表现如何？

    探究如何利用预训练语言模型对自动程序修复进行改进，研究表明采用 PLBART 和 CodeT5 两种预训练模型 Fine-Tune 后，能在自然语言的程序修复数据集上显著提高性能，其中预训练机制对性能提升至关重要。

    Apr, 2023

  • 应用 CodeBERT 对 Java 简单缺陷进行自动化程序修复

    本文提出一种基于 CodeBERT 的自动化程序修复方法，使用 ManySStuBs4J 小和大数据集对模型进行微调，能够准确地预测开发人员在 19-72％的情况下实现修复代码，并可以在不到一秒钟的时间内自动生成修复程序。

    Mar, 2021

  • 代码漏洞识别的多视角预训练模型

    本文提出了一种新颖的多视图预训练模型（MV-PTM），用于编码源代码的序列和多类型结构信息，并利用对比学习增强代码表示，实验结果表明 MV-PTM 的优越性，特别是在 F1 分数方面，优于 GraphCodeBERT 平均 3.36%。

    Aug, 2022

  • 有阅读素养的学生学习更好：关于预训练紧凑模型的重要性

    本文研究自然语言表示、模型压缩技术、预训练、微调和知识蒸馏等方面的互动关系，提出了一种简单而有效的预训练蒸馏算法，分析了模型大小和无标记任务数据属性对其的影响。

    Aug, 2019

  • 语言模型需要多少预训练数据才能学习语法？

    本研究探讨了预训练数据大小对 RoBERTa 模型的句法能力及其在下游应用中的影响，并分析了训练此类模型的成本效益权衡。结果显示，虽然预训练数据大小的增加会显著提高模型的句法能力及在下游任务中表现，但这也带来了更高的经济和环境成本。

    Sep, 2021