Mar, 2021

基于块级抽象语法树拆分的代码摘要改进

PDF
TL;DR本文提出了一种基于分块的抽象语法树分裂方法（BASTS），利用 AST 的丰富树形语法结构来改进代码摘要，将其分为块并为每个代码块生成分裂 AST，利用基于树的 LSTM 和 Transformer 生成高质量的代码摘要，实验证明该方法在各种评估指标上显著优于现有方法。
automatic code summarizationabstract syntax treeblock-wise abstract syntax tree splitting methodtree-lstmtransformer
发现论文，激发创造
  • CAST：使用抽象语法树的层次分割和重构提高代码摘要

    本文介绍了一种称为 CAST 的新型模型，采用分层拆分和重构 AST 来完整地捕捉 AST 中的丰富信息，利用递归神经网络对子树进行编码，通过重构拆分后的 AST 来聚合嵌入子树，最后使用 AST 表示和源码嵌入进行代码摘要，进而提高程序的理解和维护能力。

    Aug, 2021

  • 使用扩展 Tree-LSTM 自动生成源代码摘要

    该研究探讨了使用神经机器翻译模型进行源代码自动生成文档的机器翻译任务，并阐述了抽象语法树在源码的机器学习研究中的重要性和 Tree-LSTM 方法的局限性，并提出了一种新方法 Multi-way Tree-LSTM 来应对此问题，对比现有技术取得更好的结果。

    Jun, 2019

  • 编程语言理解与表示的抽象语法树：我们离何处？

    在软件工程领域，编程语言理解与表示（即代码表示学习）一直是一个备受关注和具有挑战性的任务，其旨在应用深度学习技术生成源代码特征的数值表示同时保持其语义，这些表示可用于促进后续与代码相关的任务。然而，AST（抽象语法树）作为一种基本的代码特征，在代码表示学习中广泛应用，但目前缺乏对 AST-based 代码表示如何促进后续代码相关任务的系统和定量评估。本文通过详细的实证研究首次探索了 AST-based 代码表示在促进后续代码相关任务方面的有效性，并比较了基于代码标记序列和基于 AST 的代码表示方法在三种常见类型的代码相关任务上的性能。令人惊讶的是，整体定量统计结果表明，与基于代码标记的代码表示方案相比，基于 AST 的代码表示方法在所有三个任务中的表现均较差。进一步的定量分析显示，基于 AST 的代码表示方法在所有三个任务的某些子样本中优于基于代码标记的代码表示方法。我们还进行了全面的实验，评估和揭示了 AST 解析 / 预处理 / 编码方法的选择对基于 AST 的代码表示和后续代码相关任务的影响。本研究为未来的研究人员提供了关于如何选择每个阶段的解决方案以充分利用 AST 的详细指导。

    Dec, 2023

  • 基于变压器的多尺度多模态方法用于源代码摘要生成

    本研究旨在提出一种基于多尺度、多模态方法和 Transformer 的源代码摘要生成模型 (M2TS)，该模型使用多尺度 AST 特征提取方法、代码词法特征和跨模态融合方法，以更全面准确地抓取 AST 的结构特征，同时融合语法和上下文语义信息，从而生成源代码的高质量摘要并在实验证明了其优于当前最新研究。

    Mar, 2022

  • 为代码生成和语义解析设计的抽象语法网络

    介绍了针对类似代码生成和语义解析等需要将非结构化（或部分结构化）输入映射到格式化可执行输出的抽象语法网络建模框架，并使用一个具有动态确定模块化结构的解码器构建输出，具有与输出树结构相一致的特性，在 Hearthstone 数据集上获取了 79.2 BLEU 和 22.7% 的精确匹配度，相比之前最先进的值提高了 12.1 和 16.6 个百分点，在 Atis、Jobs 和 Geo 语义解析数据集上的表现也很有竞争力，并且无需进行任何任务特定的工程。

    Apr, 2017

  • AST-MHSA：使用多头自注意力进行代码摘要

    AST-MHSA 是一个使用多头注意力机制从抽象语法树中提取重要语义信息的模型，它包括编码器和解码器两个主要组件，编码器将代码的抽象语法树作为输入生成隐藏状态序列，解码器以这些隐藏状态为输入生成代码的自然语言摘要。

    Aug, 2023

  • xASTNN：用于工业实践的改进代码表示

    本文介绍了一种基于 AST 的神经网络架构 xASTNN，用于源代码表示，以推广深度学习在工业实践中的应用。研究结果表明，xASTNN 在代码分类和克隆检测等任务上具有较大提升且速度更快。

    Mar, 2023

  • AST-T5：用于代码生成和理解的结构感知预训练

    使用 AST（抽象语法树）的 AST-T5 模型在代码生成、转译和理解任务中表现出色，保留了代码结构，对重建各种代码结构具有强大的能力，并在各种代码相关任务中优于类似尺寸的其他大型语言模型。

    Jan, 2024

  • 回归任务中树状神经网络的行为分析

    本文通过解析抽象语法树（AST）推测了基于树状神经网络模型的行为，并提出了一种双重变换器方法，通过源代码标记和 AST 表示进行交叉注意力机制的操作，进一步探索了图神经网络（GNN）对于基于树状问题的适应性，实证评估发现，我们的双重变换器模型在各种数据集上表现出色，优于其他基于树状神经网络和基于 GNN 的模型。

    Jun, 2024

  • TreeBERT: 面向编程语言的基于树形结构的预训练模型

    本文提出 TreeBERT，一个基于树结构的预训练模型，用于改进编程语言相关的生成任务。TreeBERT 采用一系列组合路径和节点位置嵌入来表示代码对应的 AST，并通过基于树掩码语言模型 (TMLM) 和节点排序预测 (NOP) 的混合目标进行训练。在多项编程语言数据集上进行的预训练实验结果表明，TreeBERT 在代码摘要和代码文档生成任务中优于其他预训练模型和业界最优模型。此外，TreeBERT 在跨编程语言应用时也表现出色。

    May, 2021