Dec, 2022

自注意力能否强大到学会代码语法和语义？

PDF
TL;DR本文研究了 CodeBERT 模型基于 AST 和静态分析，通过自我关注机制和 Masked Language Modelling（MLM）在令牌级别上学习代码语法和语义的能力，展示了其中自我关注机制在了解代码语法和语义方面的关键作用，并提出了一组任务来分析 CodeBERT 模型，同时，文章还提出了一种替代方法来预训练模型，充分利用当前的预训练策略，即 MLM，以学习代码语法和语义。
pre-trained language modelsself-attention mechanismcodebertsyntax and semanticsast
发现论文，激发创造
  • BERT 中代码注意力的探索研究

    研究表明，将标识符用于代码克隆检测中，可以增加 Transformers 预训练语言模型的性能，对代码进行特定的表示，而不是应用于自然语言处理的通用表示。

    Apr, 2022

  • 代码语言模型中注意力的自然性再探

    通过分析 CodeBERT 中的注意力分布和转换表示，本研究发现除了注意力权重之外，输入的缩放变换规范更好地捕捉到语法结构，从而揭示了 CodeBERT 嵌入语法代码属性的特征，为深入理解神经代码模型以及在程序分析中开发更具解释性的模型和有效使用注意力机制奠定了基础。

    Nov, 2023

  • 利用语法感知的局部注意力提升 BERT 性能

    本文提出一种基于句法结构的局部语义注意力机制，将其与 BERT 等预训练语言模型相结合，提高对句子中句法相关词的关注度，在单句分类和序列标注等任务中实现了一致性增益。

    Dec, 2020

  • 预训练语言模型对源代码的结构分析

    此篇论文分析了预训练语言模型，尤其是 CodeBERT 和 GraphCodeBERT 对源代码的结构性质，通过对注意力分析，词嵌入的探索和语法树归纳等方面进行全面分析，揭示出了一些深入的发现，为今后的相关研究提供了启示。

    Feb, 2022

  • 关注实体以获得更好的文本理解

    在自然语言处理中，通过将共指信息作为辅助监督注入到目前现有的预训练模型中，能够提升模型在需要进行复杂和长距离推理的任务中的表现，从而超过目前最大的 GPT-2 模型，同时仅含有一小部分的参数。

    Nov, 2019

  • CodeArt: 当符号缺失时通过注意力正则化改进代码模型

    采用 Transformer 模型，通过程序分析和注意力屏蔽等方法，提出了一种新的预训练代码模型的方法，该模型可以在缺少符号的情况下学习程序的上下文和相关性，并在多个软件工程任务中取得了显著的性能提升。

    Feb, 2024

  • 注意力可以反映句法结构 (如果你允许)

    本研究通过对 18 种语言进行多语言 BERT 的解码实验，以测试依存句法是否反映在注意力模式中的普适性，并归纳出单一注意力头可以以上线准确率解码全树。尝试通过对 mBERT 进行监督解析目标的微调，结果表明注意力模式可以代表语言结构。

    Jan, 2021

  • AST-MHSA：使用多头自注意力进行代码摘要

    AST-MHSA 是一个使用多头注意力机制从抽象语法树中提取重要语义信息的模型，它包括编码器和解码器两个主要组件，编码器将代码的抽象语法树作为输入生成隐藏状态序列，解码器以这些隐藏状态为输入生成代码的自然语言摘要。

    Aug, 2023

  • 结构感知稀疏注意力模型用于理解长编程语言

    本文提出了一种名为 SASA 的结构感知稀疏注意机制用于长代码理解任务。SASA 采用 top-k 稀疏关注机制和基于抽象语法树的结构感知关注机制，能够高效降低计算成本并处理长代码，实现了优于竞争基准模型的表现。

    May, 2022

  • 自我关注神经架构，利用多任务学习实现代码自动完成

    本文提出了自注意力神经体系结构，采用多任务学习方式，以解决代码补全中的结构性保留和长期依赖问题，并与最先进的方法进行了比较。

    Sep, 2019