EMNLPOct, 2022

代码语法理解语言模型基准测试

PDF
TL;DR这篇论文介绍了作者对现有预训练编程语言模型在理解代码结构方面的限制进行了全面的基准测试，并引入了一个大规模的数据集 CodeSyntax 来评估这些模型的性能，并揭示了自然语言和编程语言在理解语法结构方面的差异和重要性。
pre-trained language modelsyntactic structureprogramming languagebenchmarkingcode syntax
发现论文，激发创造
  • 探究代码语言模型的学习内容

    本研究旨在探究预训练语言模型的能力，在超越表面频率和共现之外理解代码的意义，结果表明该模型能够学习代码的计算语义。

    Jun, 2023

  • 结构化代码表示实现代码语言模型的高效数据自适应

    通过预训练和微调编程结构，改进了面向代码任务的当前语言模型的方法，并且在使用有限训练样本时，结合程序结构与纯文本表示方式展现出显著的改进效果。

    Jan, 2024

  • 预训练语言模型对源代码的结构分析

    此篇论文分析了预训练语言模型，尤其是 CodeBERT 和 GraphCodeBERT 对源代码的结构性质，通过对注意力分析，词嵌入的探索和语法树归纳等方面进行全面分析，揭示出了一些深入的发现，为今后的相关研究提供了启示。

    Feb, 2022

  • 语法增强的预训练模型

    文章提出了一种新的基于 Transformer 模型的句法感知注意力层以及预训练任务，该模型可以从句法结构中获取信息来提高预训练模型在关系分类、实体类型标注和问答等任务中的表现。实验结果表明，该模型取得了当前最好的表现效果。

    Dec, 2020

  • 探测源代码的预训练模型

    本研究探讨了预训练模型在代码处理中的广泛应用及其对识别语法结构、正确性、标识符、数据流和命名空间等方面的影响，并测试了使用给定目标进行预训练、模型大小变化以及微调的影响。

    Feb, 2022

  • 代码表示预训练与程序执行的补充

    本论文介绍了一种名为 FuzzPretrain 的方法，利用程序的测试用例中的动态信息，将其嵌入代码的特征表示中，以改善代码搜索的效果，并提供了学习具有区分性的代码表示的实验证据。

    Sep, 2023

  • 预训练代码模型了解哪些代码知识？

    本研究探索预训练模型在软件工程任务中的应用，通过四项探测任务评估模型对代码特征信息的理解程度，发现不同预训练模型表现有差异，其中 BERT 表现出乎意料的优异，但还需要深入研究。

    Aug, 2021

  • AST-Probe：从预训练语言模型的隐藏表示中恢复抽象语法树

    本篇论文通过构建 AST-Probe 探针方法，证明了预训练语言模型中存在一个语法子空间以及该子空间可以用来恢复一个输入代码片段的完整 AST，进而表明预训练语言模型仅使用一部分表示空间来编码编程语言的语法信息。

    Jun, 2022

  • 跨语言和语法下预训练模型的评估

    我们提出了一种评估多语言大型语言模型在多形式语法结构方面学习句法的方法，将分析转化为序列标记，通过选择几个语言模型并在 13 个多样化的依赖解析树库和 10 个成分解析树库上研究它们，结果表明：（i）该框架在多种编码上一致，（ii）预先训练的词向量不偏好成分句法表示，而是倾向于依赖表示，（iii）子词标记化需要用于表示语法，与基于字符的模型不同，（iv）从词向量中恢复语法时，语言在预训练数据中的出现比任务数据的数量更重要。

    Sep, 2023

  • 使用预训练语言模型进行代码执行

    本文介绍了一个使用变异数据增强技术创建 Python 数据集并基于 Transformer 的 CodeExecutor 模型来强化其语义理解的方法，该模型主要用于代码执行任务。作者评估了 CodeExecutor 的性能和局限，并展示了它在零样本代码到代码搜索和文本到代码生成等方面的潜在好处。

    May, 2023