基于代码审查的自动化程序修复：预训练 Transformer 模型的表现如何？

Apr, 2023

基于代码审查的自动化程序修复：预训练 Transformer 模型的表现如何？

Automated Program Repair Based on Code Review: How do Pre-trained Transformer Models Perform?

Rishov Paul, Md. Mohib Hossain, Masum Hasan, Anindya Iqbal

TL;DR探究如何利用预训练语言模型对自动程序修复进行改进，研究表明采用 PLBART 和 CodeT5 两种预训练模型 Fine-Tune 后，能在自然语言的程序修复数据集上显著提高性能，其中预训练机制对性能提升至关重要。

Abstract

Sequence-to-sequence models have been used to transform erroneous programs into correct ones when trained with a large enough dataset. Some recent studies also demonstrated strong empirical evidence that code review (natural language instruction about suggestive changes in code) can improve the program repair further. Large language models, trained with Natu

automated program repair natural language instruction plbart codet5 pre-trained language models

发现论文，激发创造

应用 CodeBERT 对 Java 简单缺陷进行自动化程序修复

本文提出一种基于 CodeBERT 的自动化程序修复方法，使用 ManySStuBs4J 小和大数据集对模型进行微调，能够准确地预测开发人员在 19-72％的情况下实现修复代码，并可以在不到一秒钟的时间内自动生成修复程序。

Mar, 2021

大型预训练语言模型在自然语言处理中的最新研究进展：综述

本文介绍了使用预训练和微调、提示或文本生成方法解决 NLP 任务的大型预训练基于 transformer 的语言模型，以及使用预训练语言模型生成数据进行训练或其他目的的方法，并讨论未来研究的限制和建议方向。

Nov, 2021

程序理解和生成的统一预训练

PLBART 是一个可进行广泛的程序和语言理解和生成任务的序列到序列模型，已在 Java 和 Python 函数和相关的自然语言文本上进行预训练，实验证明其在代码总结、生成和翻译方面表现优异，同时在程序理解方面也表现出色。

Mar, 2021

使用 Text-To-Text Transfer Transformer 研究支持与代码相关的任务

本文利用自然语言处理中的 T5 模型并进行深度学习的预训练和微调，以实现支持自动修复代码、代码注释生成等与代码相关任务的性能优化。

Feb, 2021

预训练代码模型了解哪些代码知识？

本研究探索预训练模型在软件工程任务中的应用，通过四项探测任务评估模型对代码特征信息的理解程度，发现不同预训练模型表现有差异，其中 BERT 表现出乎意料的优异，但还需要深入研究。

Aug, 2021

使用大型语言模型进行往返翻译的自动程序修复新方法

通过大型语言模型实现的往返翻译可用于自动程序修复，修正语法错误并还原代码中的常见模式，具有在软件工程研究中的潜力。

Jan, 2024

利用大规模预训练技术自动化代码审查活动

该研究提出利用预训练技术来自动化代码审查，使用 4 项专门为代码审查场景定制的预训练任务，建立了包含 9 种流行编程语言的大规模真实世界代码变更和代码审查数据集，并创建了基于这些数据的高质量基准数据集，针对与代码审查活动相关的 3 个关键任务进行评估，实验结果显示，该模型在所有任务中优于先前的最先进的预训练方法。

Mar, 2022

CodeBERT：编程和自然语言的预训练模型

CodeBERT 是一种双模态预训练模型，支持自然语言和编程语言应用，基于 Transformer 神经架构，通过替换标记检测的预训练任务进行训练，表现出卓越的性能和前瞻性。

Feb, 2020

使用预训练 Transformer 模型进行数据增强

本文研究了不同类型的基于 Transformer 的预训练模型（如 GPT-2，BERT 和 BART），并探索了在数据增强方面，如何在文本序列之前添加类标签提供了一种简单而有效的条件方法，预先训练的 Seq2Seq 模型在低资源环境下胜过了其他数据增强方法，在数据分布和类标签信息保存方面也进行了探讨。

Mar, 2020

通过神经语言模型探索软件自然性

本文探讨了利用预训练的基于 transformer 的语言模型来对代码进行分析任务的能力，通过对 transformer-based language model 进行 AST 标记任务，得出结论表明其在此任务上的表现较好，并在软件漏洞识别任务中与依赖于编译器的基于图形的方法相比，取得了可比拟的成果。

Jun, 2020