本研究通过提出一种基于树形神经网络的方法，实现了从海量开源代码中自动学习提取代码改变模式，并提出了一种名为 CODIT 的代码改变建议引擎，在实验中表现良好，能够有效地学习和建议代码改变和 BUG 修复方法。

Sep, 2018

本文介绍了针对代码的预训练模型参数高效微调的适配器和 LoRA 两种方法，经过四项代码处理任务测试，发现这些高效微调方法在代码理解任务中可以实现可比或更高的性能，但在代码生成任务中性能不如标准的全微调。这些结果强调了在其他领域测试高效微调方法的重要性，并促进了对源代码高效微调的未来研究。

Dec, 2022

本文提出了一种名为 PATOIS 的系统，它通过自动挖掘常见的代码习惯用法，并将其合并到神经程序合成语言中，通过训练基于树结构的神经合成器来使用这些模式，以在每一代步骤中显式地交错高级别和低级别推理来实现通用源代码从自然语言规范中的程序合成。评估表明，使用这类学习的代码习惯可以提高综合器的准确性，其中使用了两个复杂的语义解析数据集。

Jun, 2019

本研究提出了一种专门针对代码编辑的预训练任务，并提出了一个名为 CodeEditor 的有效预训练代码编辑模型。 通过该任务的预训练进一步提高了代码编辑模型的性能和泛化能力，并优于 SOTA 基线。

Oct, 2022

本文采用机器学习和深度学习技术，提出了一种使用编辑时的不完整代码片段检测潜在代码漏洞的实用系统，通过 LLMs 等预训练模型的零样本、少样本和微调等方法，有效提高了潜在漏洞检测的准确性和效率。实验结果显示，相较于现有的漏洞检测模型，本文的方法可以提升 10% 左右的效果，并且在高风险代码场景下检测到的潜在漏洞可以减少达 90%。

May, 2023

本文提出一种基于 CodeBERT 的自动化程序修复方法，使用 ManySStuBs4J 小和大数据集对模型进行微调，能够准确地预测开发人员在 19-72％的情况下实现修复代码，并可以在不到一秒钟的时间内自动生成修复程序。

Mar, 2021

DeepDebug 是数据驱动的程序修复方法，其可以从 GitHub 代码库中挖掘的实际 Java 方法中学习检测和修复错误的方法。通过将错误修补构建为序列到序列的学习任务，它实现了两个步骤，即去噪预训练和有监督的微调。本方法显示出比以前的工作更好的异常检测能力，并且可以使用通用解析器进行语言无关的方法。

Apr, 2021

这项工作提出了过去作为指南（PaG），这是一种用于大型语言模型（LLMs）的简单方法，通过将过去的历史与交互和迭代的代码改进相结合，提高编码能力。具体而言，受人类认知过程的启发，该方法使 LLMs 能够利用以往的编程和调试经验，提升 Python 代码自动完成任务的能力。该框架使 LLMs 能够基于先前执行和调试结果进行迭代式的代码优化，提高学习和推理能力。借助过去经验的回顾和交互迭代的改进过程，该方法在 HumanEval 上取得了 92％的一次通过率，展示了在没有外部正确性指标的情况下利用过去经验推进领域发展的潜力。

Nov, 2023

本研究采用多头指针网络模型，实现联合定位和修复变量误用错误，并表明该联合模型比指针模型在修复方面性能更佳。

Apr, 2019

通过挖掘 GitHub 上项目代码的变更历史记录，使用神经机器翻译技术进行修复漏洞的学习，设计并训练了一个 Encoder-Decoder 模型，可以在瞬间模仿各种不同的 AST 操作，并生成候选修复程序，可在实际环境中修复数以千计的独特故障方法，并预测出开发人员生成的固定补丁的 9-50%。

Dec, 2018