SynCoBERT：针对代码表示的语法引导的多模式对比预训练

Aug, 2021

SynCoBERT：针对代码表示的语法引导的多模式对比预训练

SynCoBERT: Syntax-Guided Multi-Modal Contrastive Pre-Training for Code Representation

Xin Wang, Yasheng Wang, Fei Mi, Pingyi Zhou, Yao Wan...

TL;DR本文提出了 SynCoBERT—— 一种语法引导的，多模态对比预训练方法，旨在更好地表示代码，其中设计了两种新的预训练目标 —— 标识符预测和 AST 边缘预测，并提出了多模态对比学习策略来最大化不同模态之间的互信息。经过广泛的实验，SynCoBERT 在与相同的预训练语料库和模型大小进行比较时，提高了与代码智能相关的四个下游任务的最新性能。

Abstract

code representation learning, which aims to encode the semantics of source code into distributed vectors, plays an important role in recent deep-learning-based models for code intelligence. Recently, many pre-trained language models for source code (e.g., CuBERT and CodeBERT) have been

code representation learning pre-trained language models syntax-guided multi-modal contrastive pre-training identifier prediction ast edge prediction

发现论文，激发创造

对比代码表示学习

本文介绍了应对在自然语言生成中源代码编辑的二义性问题的解决方案 ——ContraCode，通过对许多非等价程序的功能相似变体进行对比预训练的方式来实现源代码功能性的学习，并在 JavaScript 总结和 TypeScript 类型推断准确性上取得了较大的提升。

Jul, 2020

GraphCodeBERT：使用数据流进行代码表示预训练

GraphCodeBERT 是一种基于 Transformer 的预训练模型，通过使用数据流而不是抽象语法树的句法级别结构，可以更有效地编码代码的语义结构，从而提高代码理解过程。其结构感知的预训练任务可以改善 GraphCodeBERT，并在代码搜索，克隆检测，代码翻译和代码优化等方面实现了最先进的性能。

Sep, 2020

预训练语言模型对源代码的结构分析

此篇论文分析了预训练语言模型，尤其是 CodeBERT 和 GraphCodeBERT 对源代码的结构性质，通过对注意力分析，词嵌入的探索和语法树归纳等方面进行全面分析，揭示出了一些深入的发现，为今后的相关研究提供了启示。

Feb, 2022

CodeBERT：编程和自然语言的预训练模型

CodeBERT 是一种双模态预训练模型，支持自然语言和编程语言应用，基于 Transformer 神经架构，通过替换标记检测的预训练任务进行训练，表现出卓越的性能和前瞻性。

Feb, 2020

预训练代码模型了解哪些代码知识？

本研究探索预训练模型在软件工程任务中的应用，通过四项探测任务评估模型对代码特征信息的理解程度，发现不同预训练模型表现有差异，其中 BERT 表现出乎意料的优异，但还需要深入研究。

Aug, 2021

CODE-MVP: 通过对比性预训练学习多视角编程源代码表示

本文提出了 CODE-MVP 模型来将多种不同的源代码视角集成到一个统一的框架中，并通过多视图对比预训练来学习其中的补充信息和类型推断目标函数，实验证明 CODE-MVP 优于其他现有模型在自然语言代码检索、代码相似性、代码缺陷检测等三个下游任务中的性能表现。

May, 2022

学习和评估源代码上下文嵌入

本文介绍了一种新颖的源代码嵌入技术，精心设计了一个基于 Python 的大规模数据集和一个开源的基准测试套件，旨在提高源代码的理解和分类准确度。实验结果表明，该方法与 Word2Vec、BiLSTM、Transformer 等现有方法相比，在减少培训时间和标注数据的情况下可以获得更高的准确度。

Dec, 2019

SPT-Code: 序列到序列预训练，用于学习源代码表示

本文介绍了一种新的基于序列到序列（sequence-to-sequence）的编码表示学习预训练模型 SPT-Code，通过三种特定的预训练任务，可以解决现有预训练任务在自然语言编码中存在的问题，该模型可以有效地应用于五个编码相关的下游任务，并取得了最优秀的表现。

Jan, 2022

CoTexT: 带有代码 - 文本变换器的多任务学习

CoTexT 是一种预先训练的基于 Transformer 的编码器 - 解码器模型，用于学习自然语言与编程语言之间的代表性上下文，支持下游自然语言 - 编程语言任务，如代码概述 / 文档化，代码生成，缺陷检测和代码调试，并在 CodeXGlue 数据集中取得 SOTA 结果。

May, 2021

TreeBERT: 面向编程语言的基于树形结构的预训练模型

本文提出 TreeBERT，一个基于树结构的预训练模型，用于改进编程语言相关的生成任务。TreeBERT 采用一系列组合路径和节点位置嵌入来表示代码对应的 AST，并通过基于树掩码语言模型 (TMLM) 和节点排序预测 (NOP) 的混合目标进行训练。在多项编程语言数据集上进行的预训练实验结果表明，TreeBERT 在代码摘要和代码文档生成任务中优于其他预训练模型和业界最优模型。此外，TreeBERT 在跨编程语言应用时也表现出色。

May, 2021