ACLMay, 2022

CODE-MVP: 通过对比性预训练学习多视角编程源代码表示

PDF
TL;DR本文提出了 CODE-MVP 模型来将多种不同的源代码视角集成到一个统一的框架中，并通过多视图对比预训练来学习其中的补充信息和类型推断目标函数，实验证明 CODE-MVP 优于其他现有模型在自然语言代码检索、代码相似性、代码缺陷检测等三个下游任务中的性能表现。
code representation learningsource code semanticsmulti-view pre-trainingtype inference objectivedownstream tasks
发现论文，激发创造
  • SynCoBERT：针对代码表示的语法引导的多模式对比预训练

    本文提出了 SynCoBERT—— 一种语法引导的，多模态对比预训练方法，旨在更好地表示代码，其中设计了两种新的预训练目标 —— 标识符预测和 AST 边缘预测，并提出了多模态对比学习策略来最大化不同模态之间的互信息。经过广泛的实验，SynCoBERT 在与相同的预训练语料库和模型大小进行比较时，提高了与代码智能相关的四个下游任务的最新性能。

    Aug, 2021

  • 代码漏洞识别的多视角预训练模型

    本文提出了一种新颖的多视图预训练模型（MV-PTM），用于编码源代码的序列和多类型结构信息，并利用对比学习增强代码表示，实验结果表明 MV-PTM 的优越性，特别是在 F1 分数方面，优于 GraphCodeBERT 平均 3.36%。

    Aug, 2022

  • 对比代码表示学习

    本文介绍了应对在自然语言生成中源代码编辑的二义性问题的解决方案 ——ContraCode，通过对许多非等价程序的功能相似变体进行对比预训练的方式来实现源代码功能性的学习，并在 JavaScript 总结和 TypeScript 类型推断准确性上取得了较大的提升。

    Jul, 2020

  • CV4Code: 通过视觉代码表示理解源代码

    CV4Code 是一种针对源代码的紧凑而有效的计算机视觉方法，不需要词法分析或语法树解析的步骤，它将代码片段视为二维图像，并使用 ASCII 码点图像表示方法，利用这种方法生成源代码图像非常快速且无冗余，进一步使用卷积神经网络和 transformer 网络学习进行功能预测和检索，实验结果表明，该方法在处理源代码理解任务方面显著优于其他方法。

    May, 2022

  • 编程语言处理的多视角图形表示：算法检测研究

    本文提出了一种多视图图形编程表示方法，使用图形神经网络处理数据和控制流，并在此基础上评估了该方法在算法检测中的性能，结果表明这种方法比先前的方法表现得更好。

    Feb, 2022

  • 从结构和上下文中学习源代码的语言不可知性表示学习

    通过同时学习源代码和抽象语法树的结构信息，本篇研究提出了一种只使用与语言无关的功能和直接从抽象语法树中计算得出的功能的新机器学习模型，该模型在单语言和多语言代码总结方面均取得了最新成果。

    Mar, 2021

  • 代码表示预训练与程序执行的补充

    本论文介绍了一种名为 FuzzPretrain 的方法，利用程序的测试用例中的动态信息，将其嵌入代码的特征表示中，以改善代码搜索的效果，并提供了学习具有区分性的代码表示的实验证据。

    Sep, 2023

  • 代码的通用表示方法

    本研究提出了一种基于图形的代码表示技术，并通过有效的预训练策略生成通用代码表示。通过在真实数据集上的测试，表明该方法在方法名称预测和代码图链接预测方面具有最先进的结果。

    Mar, 2021

  • 规模化的代码表示学习

    通过大量的代码数据进行编码表示学习，使用两阶段的预训练方案以及对比学习的方式增强表示，在各种下游任务上持续显著地超过现有的模型，详细讨论了源代码的自定义和有效的令牌级去噪方案、硬负样本与硬正样本的重要性、提出的双模态对比学习如何提升跨语义搜索性能以及预训练方案对模型规模决定下游任务性能的影响。

    Feb, 2024

  • MVP: 多模态引导的视觉预训练

    本文介绍了一种名为 Multimodality-guided Visual Pre-training (MVP) 的方法，该方法利用来自其他几个模态的指导信息对图像进行预训练，取代了 Vision Transformer 中的 tokenizer，并在一系列下游视觉识别任务中取得了显著优越的效果。

    Mar, 2022