EMNLPOct, 2022

基于度量的 CAT 探测：解释预训练编程语言模型如何关注代码结构

PDF
TL;DR本研究通过提出一种新的 CAT-probing 探针方法，定量解释 CodePTMs 如何关注代码结构，通过过滤编译器预定义的令牌类型的令牌，定义一个新的度量 CAT-score 来衡量令牌级别注意力得分与相应 AST 节点之间的成对距离之间的公共度量，本文证明了 CAT-probing 的有效性。
codeptmsprobing methodscat-probingcode structureast nodes
发现论文，激发创造
  • INSPECT: 代码 Transformer 的内在和系统探测评估

    我们使用探测任务来检验预训练模型对源代码的学习程度，并发现结构信息对源代码的特征表示具有改进效果，同时发现 BERT 在某些探测任务上与源代码模型竞争力相当，暗示改进源代码特定的预训练有丰富的机会。

    Dec, 2023

  • 预训练代码模型了解哪些代码知识？

    本研究探索预训练模型在软件工程任务中的应用，通过四项探测任务评估模型对代码特征信息的理解程度，发现不同预训练模型表现有差异，其中 BERT 表现出乎意料的优异，但还需要深入研究。

    Aug, 2021

  • AST-Probe：从预训练语言模型的隐藏表示中恢复抽象语法树

    本篇论文通过构建 AST-Probe 探针方法，证明了预训练语言模型中存在一个语法子空间以及该子空间可以用来恢复一个输入代码片段的完整 AST，进而表明预训练语言模型仅使用一部分表示空间来编码编程语言的语法信息。

    Jun, 2022

  • 预训练语言模型对源代码的结构分析

    此篇论文分析了预训练语言模型，尤其是 CodeBERT 和 GraphCodeBERT 对源代码的结构性质，通过对注意力分析，词嵌入的探索和语法树归纳等方面进行全面分析，揭示出了一些深入的发现，为今后的相关研究提供了启示。

    Feb, 2022

  • 探测源代码的预训练模型

    本研究探讨了预训练模型在代码处理中的广泛应用及其对识别语法结构、正确性、标识符、数据流和命名空间等方面的影响，并测试了使用给定目标进行预训练、模型大小变化以及微调的影响。

    Feb, 2022

  • 结构感知的代码预训练模型微调

    我们提出了一种结构增强的、即插即用的 CodePTMs 精调方法，以填补在精调 CodePTMs 时如何增强结构知识吸收的重要挑战，并用多任务学习来提高精调性能。实验证明，这种方法在四个预训练模型和两个生成任务中具有有效性，并且我们观察到在有限的训练数据下，SAT 可以更好地对 CodePTMs 产生益处。

    Apr, 2024

  • CAT-LM: 训练基于对齐的代码和测试的语言模型

    CAT-LM 是一个使用 27 亿参数在 Python 和 Java 项目语料库上进行训练的新颖的预训练信号，通过考虑代码和测试文件之间的映射来生成与开发人员相似的测试代码，并且在生成测试完成时比更大的语言模型和最近的测试特定模型表现更好。

    Oct, 2023

  • CatCode: 基于代码和文本混合的 LLMs 综合评估框架

    使用范畴论作为框架，提出了一个名为 CatCode 的自动评估框架，可以全面评估大语言模型在编码能力方面的表现。

    Mar, 2024

  • 代码语法理解语言模型基准测试

    这篇论文介绍了作者对现有预训练编程语言模型在理解代码结构方面的限制进行了全面的基准测试，并引入了一个大规模的数据集 CodeSyntax 来评估这些模型的性能，并揭示了自然语言和编程语言在理解语法结构方面的差异和重要性。

    Oct, 2022

  • GraphCodeBERT：使用数据流进行代码表示预训练

    GraphCodeBERT 是一种基于 Transformer 的预训练模型，通过使用数据流而不是抽象语法树的句法级别结构，可以更有效地编码代码的语义结构，从而提高代码理解过程。其结构感知的预训练任务可以改善 GraphCodeBERT，并在代码搜索，克隆检测，代码翻译和代码优化等方面实现了最先进的性能。

    Sep, 2020