Feb, 2022

利用结构相对位置引导的 Transformer 进行源代码摘要

PDF
TL;DR该研究提出了一种结构相对位置引导的 Transformer 模型，名为 SCRIPT，通过解析源代码的抽象语法树来获得词汇之间的结构相对位置，以更好地捕捉源代码的语义表示，实验结果表明，与现有技术相比，SCRIPT 性能更好。
source code summarizationneural networkstransformerabstract syntax treesstructural relative position
发现论文，激发创造
  • 基于 Transformer 的源代码摘要方法

    本文探讨使用 Transformer 模型和自注意力机制来生成代码表示以进行源代码概述的任务，并提出其相对编码表现显著优于绝对编码，并通过实验验证其在处理长距离依赖性方面的有效性，实现了领先于现有技术的性能表现。

    May, 2020

  • 代码结构指导的源代码摘要变压器

    本文提出了一个名为 SG-Trans 的新颖方法，通过将本地符号信息和全局句法结构注入到 Transformer 的自注意模块作为归纳偏置，并设计能够分布在 Transformer 的较低层和高层的注意头中，进一步捕捉代码的层次特征，将其有效地集成到 Transformer 来实现深度学习自动生成代码摘要，经过广泛评估，SG-Trans 相对于最佳基准测试结果在两个基准数据集上分别提高了 1.4％和 2.0％的 METEOR 得分，这是一种广泛用于测量生成质量的指标。

    Apr, 2021

  • 基于结构的 Transformer 的代码摘要

    本研究利用结构诱导 Transformer 模型，提高源代码自动摘要生成的性能和效果。

    Dec, 2020

  • Transformer 模型对于源代码的学习

    文章提出了利用聚合注意力得分和注意力图从预训练模型自动提取程序图的方法，并将该方法应用于变量误用任务中，证明了自动提取的程序图具有极高的有意义和有效性。

    Jul, 2022

  • 基于变压器的多尺度多模态方法用于源代码摘要生成

    本研究旨在提出一种基于多尺度、多模态方法和 Transformer 的源代码摘要生成模型 (M2TS)，该模型使用多尺度 AST 特征提取方法、代码词法特征和跨模态融合方法，以更全面准确地抓取 AST 的结构特征，同时融合语法和上下文语义信息，从而生成源代码的高质量摘要并在实验证明了其优于当前最新研究。

    Mar, 2022

  • StructCoder: 面向结构的代码生成 Transformer

    本研究利用编码器 - 解码器 Transformer 模型进行编码生成，使用诸如抽象语法树路径预测和数据流预测等辅助任务，结构感知地提高了生成代码质量，实现了代码翻译和文本到代码生成任务的最新性能状态。

    Jun, 2022

  • 一种生成程序子程序自然语言摘要的神经模型

    本研究提出了一种新的神经网络模型，它可以将源代码的单词和代码结构（AST）结合起来，从而能够生成准确的注释文档。与传统的基于模板的系统不同，该模型可以更好地学习代码结构，即使程序缺乏内部文档，也可以在演示中提供连贯的描述，并在 SE 文献和 NLP 文献中得到进一步的改进和应用验证。

    Feb, 2019

  • 使用图神经网络改进代码摘要

    本文提出了一种使用图神经网络的自动代码注释生成方法，该方法使用了源代码序列和图结构信息作为输入，使用 210 万个 Java 方法 - 注释对进行评估，并表明比四种基线技术均有所改进。

    Apr, 2020

  • 基于深度强化学习的自动源代码摘要改进

    本文提出一种基于 Actor-Critic 模型和抽象语法树的深度强化学习框架，用于代码摘要。该模型在训练时采用 BLEU 指标进行奖励，实验证明该模型在真实世界数据集上的表现优于一些最先进的方法。

    Nov, 2018

  • 基于混合图神经网络的检索辅助代码摘要生成

    本研究提出了使用检索增强机制和动态图神经网络结构来生成源代码摘要的方法，并在大规模的开源项目数据集上进行了实验，在 ROUGE-L，BLEU-4 和 METEOR 等方面取得了最先进的结果。

    Jun, 2020