May, 2022

使用代码层次结构表示程序的学习

PDF
TL;DR本文针对现有技术在软件工程任务中依然存在两个问题：长期依赖和不同的代码组件被平等地处理。为了解决这些问题，本文提出了一种代表代码的层次结构（“Code Hierarchy”）和一种网络架构（“ECHELON”），该架构将异构图变换网络和基于树的卷积神经网络的优点相结合用于学习富含代码依赖信息的抽象语法树。同时，本文提出了一种新的预训练目标 “Missing Subtree Prediction” 来补充 “Code Hierarchy”。评估结果表明，我们的方法在任何代码完成、代码分类和代码克隆检测方面明显优于其他基线。
graph neural networkssoftware engineeringcode hierarchyechelonabstract syntax trees
发现论文，激发创造
  • InferCode：通过预测子树进行代码表示的自监督式学习

    本文提出了 InferCode 用于建立源代码模型的自监督学习机制，通过从 AST 上下文中识别的子树进行训练去匹配程序的表示，该技术不需要人工标注，也不与特定任务或代码单元相绑定，应用于无监督的任务效果显著。

    Dec, 2020

  • 基于抽象语法树 (AST) 的异构有向超图神经网络用于代码分类

    该研究提出了利用异构有向超图和异构有向超图神经网络处理代码分类的方法，并在公共的 Python 和 Java 代码数据集上测试，结果表明该方法可以提高代码理解和高阶数据相关性的表述。

    May, 2023

  • TransformCode: 通过子树转换实现的代码嵌入的对比学习框架

    通过使用 Transformer 编码器作为模型的一个关键组成部分并引入了一个名为 TransformCode 的新型框架，该研究论文提出了一种基于对比学习方式学习代码嵌入的方法，并介绍了一种名为抽象语法树转换的新型数据增强技术，从而生成更多样化和稳健的锚点样本。该框架不仅灵活适应，可以扩展到其他需要代码表达的下游任务，而且效率高且可扩展性强，支持任何编程语言。

    Nov, 2023

  • 学习使用图形来表示程序

    本文介绍了如何使用图表示代码的句法和语义结构，并使用基于图的深度学习方法来学习对程序结构进行推理的方法。作者在两个任务上对该方法进行了评估：VarNaming 和 VarMisuse，结果表明使用已知结构的建模方法具有优势，并且可以在许多情况下学习推理有意义的变量名和解决 VarMisuse 任务，并且 VarMisuse 还可以发现成熟开源项目中的错误。

    Nov, 2017

  • 将全局和局部层次信息植入基于序列的代码表示模型

    本文探讨了代码序列中层次结构对令牌的影响，并将其抽象为代码令牌的一个属性。我们提出了一种简单但有效的模型 HiT，将完整的层次结构嵌入源代码序列。实验证明，层次嵌入可用于学习代码结构，并在多个数据集上的分类和生成任务中显示出 HiT 性能的稳定训练效率。

    Mar, 2023

  • 学习用异构图表示程序

    本研究提出了从源代码的抽象语法树构建异构编程图用于方法命名和代码注释生成的方法，并使用异构图神经网络学习这些图。实验结果表明，利用编程图中节点和边的类型信息可以帮助学习程序语义，本方法优于基线模型。

    Dec, 2020

  • 代码的通用表示方法

    本研究提出了一种基于图形的代码表示技术，并通过有效的预训练策略生成通用代码表示。通过在真实数据集上的测试，表明该方法在方法名称预测和代码图链接预测方面具有最先进的结果。

    Mar, 2021

  • HiGen：层次图生成网络

    提出了一种新的图生成网络，以获得具有层级结构的图，并通过模块化方法在层级结构的不同级别生成社区，根据多项式分布对层级图中的边进行建模并成功地捕获了局部和全局性质。

    May, 2023

  • 一种简单而有效的图分类方法

    通过将图数据样本转换为编码树以及使用分层传递机制，提出了一种树内核和卷积网络来实现图分类，其时间复杂度低于其他图神经网络，同时验证表明其在性能和计算资源方面均优于其他方法。

    Jun, 2022

  • TreeGen: 基于树状结构的 Transformer 编码生成架构

    本文提出了一种基于树结构的神经架构 (TreeGen) 来生成编程语言代码，该模型使用了 Transformer 的注意力机制解决了长依赖问题，并引入了一种新颖的 AST 阅读器 (encoder) 将语法规则和 AST 结构整合到网络中。在 Python 基准测试、ATIS 和 GEO 语义解析基准测试中，TreeGen 的性能优于之前的最先进方法 4.5 个百分点，同时在 ATIS（89.1%）和 GEO（89.6%）的神经网络方法中实现了最佳精度。

    Nov, 2019