ACLApr, 2017

为代码生成和语义解析设计的抽象语法网络

PDF
TL;DR介绍了针对类似代码生成和语义解析等需要将非结构化（或部分结构化）输入映射到格式化可执行输出的抽象语法网络建模框架，并使用一个具有动态确定模块化结构的解码器构建输出，具有与输出树结构相一致的特性，在 Hearthstone 数据集上获取了 79.2 BLEU 和 22.7% 的精确匹配度，相比之前最先进的值提高了 12.1 和 16.6 个百分点，在 Atis、Jobs 和 Geo 语义解析数据集上的表现也很有竞争力，并且无需进行任何任务特定的工程。
发现论文，激发创造
  • 编程语言理解与表示的抽象语法树：我们离何处？

    在软件工程领域，编程语言理解与表示（即代码表示学习）一直是一个备受关注和具有挑战性的任务，其旨在应用深度学习技术生成源代码特征的数值表示同时保持其语义，这些表示可用于促进后续与代码相关的任务。然而，AST（抽象语法树）作为一种基本的代码特征，在代码表示学习中广泛应用，但目前缺乏对 AST-based 代码表示如何促进后续代码相关任务的系统和定量评估。本文通过详细的实证研究首次探索了 AST-based 代码表示在促进后续代码相关任务方面的有效性，并比较了基于代码标记序列和基于 AST 的代码表示方法在三种常见类型的代码相关任务上的性能。令人惊讶的是，整体定量统计结果表明，与基于代码标记的代码表示方案相比，基于 AST 的代码表示方法在所有三个任务中的表现均较差。进一步的定量分析显示，基于 AST 的代码表示方法在所有三个任务的某些子样本中优于基于代码标记的代码表示方法。我们还进行了全面的实验，评估和揭示了 AST 解析 / 预处理 / 编码方法的选择对基于 AST 的代码表示和后续代码相关任务的影响。本研究为未来的研究人员提供了关于如何选择每个阶段的解决方案以充分利用 AST 的详细指导。

    Dec, 2023

  • CAST：使用抽象语法树的层次分割和重构提高代码摘要

    本文介绍了一种称为 CAST 的新型模型，采用分层拆分和重构 AST 来完整地捕捉 AST 中的丰富信息，利用递归神经网络对子树进行编码，通过重构拆分后的 AST 来聚合嵌入子树，最后使用 AST 表示和源码嵌入进行代码摘要，进而提高程序的理解和维护能力。

    Aug, 2021

  • 基于抽象语法树 (AST) 的异构有向超图神经网络用于代码分类

    该研究提出了利用异构有向超图和异构有向超图神经网络处理代码分类的方法，并在公共的 Python 和 Java 代码数据集上测试，结果表明该方法可以提高代码理解和高阶数据相关性的表述。

    May, 2023

  • xASTNN：用于工业实践的改进代码表示

    本文介绍了一种基于 AST 的神经网络架构 xASTNN，用于源代码表示，以推广深度学习在工业实践中的应用。研究结果表明，xASTNN 在代码分类和克隆检测等任务上具有较大提升且速度更快。

    Mar, 2023

  • AST-T5：用于代码生成和理解的结构感知预训练

    使用 AST（抽象语法树）的 AST-T5 模型在代码生成、转译和理解任务中表现出色，保留了代码结构，对重建各种代码结构具有强大的能力，并在各种代码相关任务中优于类似尺寸的其他大型语言模型。

    Jan, 2024

  • 学习用异构图表示程序

    本研究提出了从源代码的抽象语法树构建异构编程图用于方法命名和代码注释生成的方法，并使用异构图神经网络学习这些图。实验结果表明，利用编程图中节点和边的类型信息可以帮助学习程序语义，本方法优于基线模型。

    Dec, 2020

  • 回归任务中树状神经网络的行为分析

    本文通过解析抽象语法树（AST）推测了基于树状神经网络模型的行为，并提出了一种双重变换器方法，通过源代码标记和 AST 表示进行交叉注意力机制的操作，进一步探索了图神经网络（GNN）对于基于树状问题的适应性，实证评估发现，我们的双重变换器模型在各种数据集上表现出色，优于其他基于树状神经网络和基于 GNN 的模型。

    Jun, 2024

  • AstBERT: 基于抽象语法树的金融代码理解语言模型

    本文介绍了一种 AstBERT 模型，该模型基于预训练的编程语言模型，使用抽象语法树从语义和句法两方面来更好地理解金融代码，通过 Alipay 代码库中大量的 Java 和 Python 代码进行训练，并通过代码解析器将抽象语法树信息整合进模型中，最终，在代码问答、代码克隆检测和代码优化三个任务中获得了良好的性能。

    Jan, 2022

  • 基于稀疏注意力的代码分类神经网络

    通过使用稀疏注意力机制的神经网络，我们介绍了一种名为 SACC 的方法用于代码分类任务，其中把源代码分为子树序列，并使用递归神经网络编码以及 Transformer 模型进行分类，证明了其在代码分类任务中的有效性和效率。

    Nov, 2023

  • 用图神经网络和增强流程抽象语法树来检测代码克隆

    本文提出了一种基于图神经网络 (GNN) 的程序控制流和数据流表示方法 FA-AST (flow-augmented abstract syntax tree)，并将其应用于代码克隆检测，相比基于抽象语法树 (AST) 的方法，在 Google Code Jam 和 BigCloneBench 数据集上均取得了更好的效果。

    Feb, 2020