Dec, 2023

INSPECT: 代码 Transformer 的内在和系统探测评估

PDF
TL;DR我们使用探测任务来检验预训练模型对源代码的学习程度，并发现结构信息对源代码的特征表示具有改进效果，同时发现 BERT 在某些探测任务上与源代码模型竞争力相当，暗示改进源代码特定的预训练有丰富的机会。
pre-trained modelssource codeprobing tasksstructural informationcode characteristics
发现论文，激发创造
  • 预训练代码模型了解哪些代码知识？

    本研究探索预训练模型在软件工程任务中的应用，通过四项探测任务评估模型对代码特征信息的理解程度，发现不同预训练模型表现有差异，其中 BERT 表现出乎意料的优异，但还需要深入研究。

    Aug, 2021

  • 探测源代码的预训练模型

    本研究探讨了预训练模型在代码处理中的广泛应用及其对识别语法结构、正确性、标识符、数据流和命名空间等方面的影响，并测试了使用给定目标进行预训练、模型大小变化以及微调的影响。

    Feb, 2022

  • 预训练语言模型对源代码的结构分析

    此篇论文分析了预训练语言模型，尤其是 CodeBERT 和 GraphCodeBERT 对源代码的结构性质，通过对注意力分析，词嵌入的探索和语法树归纳等方面进行全面分析，揭示出了一些深入的发现，为今后的相关研究提供了启示。

    Feb, 2022

  • 基于 Transformer 的源代码实证研究

    本文研究了如何使用 Transformers 提取和利用源代码中的句法信息，完成代码自动补全、函数命名和 bug 修复等任务，实现了更好的模型性能。

    Oct, 2020

  • AST-Probe：从预训练语言模型的隐藏表示中恢复抽象语法树

    本篇论文通过构建 AST-Probe 探针方法，证明了预训练语言模型中存在一个语法子空间以及该子空间可以用来恢复一个输入代码片段的完整 AST，进而表明预训练语言模型仅使用一部分表示空间来编码编程语言的语法信息。

    Jun, 2022

  • CodeBert 学习的特征：基于 BERT 的源代码表示学习的实证研究

    本文论述 Bidirectional Encoder Representations from Transformers（BERT）在源代码表示学习中并不能有效地理解源代码的逻辑，因为源代码的表示还严重依赖于程序员定义的变量和函数名称。

    Jan, 2023

  • 基于度量的 CAT 探测：解释预训练编程语言模型如何关注代码结构

    本研究通过提出一种新的 CAT-probing 探针方法，定量解释 CodePTMs 如何关注代码结构，通过过滤编译器预定义的令牌类型的令牌，定义一个新的度量 CAT-score 来衡量令牌级别注意力得分与相应 AST 节点之间的成对距离之间的公共度量，本文证明了 CAT-probing 的有效性。

    Oct, 2022

  • 基于维度选择的内在探测

    本文讨论了自然语言处理系统中之前探测语言结构方法的缺陷，并提出了基于多元高斯探针的内在探测框架，以便于检测词向量的语言信息。通过 36 种语言的实验证明，多数形态语法特征由少数神经元可靠编码，而 fastText 相较于 BERT 更加集中其语言结构。

    Oct, 2020

  • 代码语法理解语言模型基准测试

    这篇论文介绍了作者对现有预训练编程语言模型在理解代码结构方面的限制进行了全面的基准测试，并引入了一个大规模的数据集 CodeSyntax 来评估这些模型的性能，并揭示了自然语言和编程语言在理解语法结构方面的差异和重要性。

    Oct, 2022

  • 基于 Transformer 的代码质量评估

    使用 CodeBERT 自动为 Java 代码分配质量评分，同时探索不同模型和训练范式对于代码质量评估的准确性，并使用新颖数据集评估预测的质量，发现基于 Transformer 模型的任务适应预训练方法比其他技术更高效地解决该任务。

    Sep, 2023