Apr, 2024

重访使用抽象语法树编辑距离评估代码相似度

PDF
TL;DR本文重新审视了最近的代码相似性评估度量，特别关注抽象语法树（AST）编辑距离在不同编程语言中的应用。我们探讨了这些度量的实用性，并将它们与传统的序列相似度度量进行了比较。我们的实验展示了 AST 编辑距离在捕捉复杂代码结构方面的有效性，与已有度量具有高度相关性。此外，我们还比较了 AST 编辑距离和基于提示的 GPT 相似度评分与 BLEU 分数、执行匹配和 Jaccard 相似度之间的优势和劣势。我们提出、优化并发布了一种可适应所有测试语言的度量方法，代表了增强版本的树编辑距离相似度（TSED）的成果。
code similarityabstract syntax tree editing distanceprogramming languagesast editing distancegpt similarity score
发现论文，激发创造
  • 编程语言理解与表示的抽象语法树：我们离何处？

    在软件工程领域，编程语言理解与表示（即代码表示学习）一直是一个备受关注和具有挑战性的任务，其旨在应用深度学习技术生成源代码特征的数值表示同时保持其语义，这些表示可用于促进后续与代码相关的任务。然而，AST（抽象语法树）作为一种基本的代码特征，在代码表示学习中广泛应用，但目前缺乏对 AST-based 代码表示如何促进后续代码相关任务的系统和定量评估。本文通过详细的实证研究首次探索了 AST-based 代码表示在促进后续代码相关任务方面的有效性，并比较了基于代码标记序列和基于 AST 的代码表示方法在三种常见类型的代码相关任务上的性能。令人惊讶的是，整体定量统计结果表明，与基于代码标记的代码表示方案相比，基于 AST 的代码表示方法在所有三个任务中的表现均较差。进一步的定量分析显示，基于 AST 的代码表示方法在所有三个任务的某些子样本中优于基于代码标记的代码表示方法。我们还进行了全面的实验，评估和揭示了 AST 解析 / 预处理 / 编码方法的选择对基于 AST 的代码表示和后续代码相关任务的影响。本研究为未来的研究人员提供了关于如何选择每个阶段的解决方案以充分利用 AST 的详细指导。

    Dec, 2023

  • 自适应符号嵌入的树编辑距离学习：补充材料和结果

    该论文提出了一种基于嵌入的新型度量学习方法，通过嵌入树节点向量来学习编辑距离，使欧几里得距离支持类别判别并提高分类准确率，该方法在包括计算机科学、生物医学和自然语言处理数据集的六个基准数据集上优于目前树形度量学习技术的最新技术。

    May, 2018

  • 用图神经网络和增强流程抽象语法树来检测代码克隆

    本文提出了一种基于图神经网络 (GNN) 的程序控制流和数据流表示方法 FA-AST (flow-augmented abstract syntax tree)，并将其应用于代码克隆检测，相比基于抽象语法树 (AST) 的方法，在 Google Code Jam 和 BigCloneBench 数据集上均取得了更好的效果。

    Feb, 2020

  • CAST：使用抽象语法树的层次分割和重构提高代码摘要

    本文介绍了一种称为 CAST 的新型模型，采用分层拆分和重构 AST 来完整地捕捉 AST 中的丰富信息，利用递归神经网络对子树进行编码，通过重构拆分后的 AST 来聚合嵌入子树，最后使用 AST 表示和源码嵌入进行代码摘要，进而提高程序的理解和维护能力。

    Aug, 2021

  • 基于块级抽象语法树拆分的代码摘要改进

    本文提出了一种基于分块的抽象语法树分裂方法（BASTS），利用 AST 的丰富树形语法结构来改进代码摘要，将其分为块并为每个代码块生成分裂 AST，利用基于树的 LSTM 和 Transformer 生成高质量的代码摘要，实验证明该方法在各种评估指标上显著优于现有方法。

    Mar, 2021

  • FastKASSIM: 基于快速树内核的语法相似性度量

    本文介绍了一种基于树核心的度量方法 FastKASSIM，它可以用于捕捉话语和文档级别的语法相似性和连贯性，与现有标准文档级语法相似性度量方法相比，FastKASSIM 更具鲁棒性且运行速度更快，可以预测 ChangeMyView 论坛上的辩论论点流畅性以及澳大利亚高等法院裁决文书的作者身份。

    Mar, 2022

  • 为代码生成和语义解析设计的抽象语法网络

    介绍了针对类似代码生成和语义解析等需要将非结构化（或部分结构化）输入映射到格式化可执行输出的抽象语法网络建模框架，并使用一个具有动态确定模块化结构的解码器构建输出，具有与输出树结构相一致的特性，在 Hearthstone 数据集上获取了 79.2 BLEU 和 22.7% 的精确匹配度，相比之前最先进的值提高了 12.1 和 16.6 个百分点，在 Atis、Jobs 和 Geo 语义解析数据集上的表现也很有竞争力，并且无需进行任何任务特定的工程。

    Apr, 2017

  • AST-T5：用于代码生成和理解的结构感知预训练

    使用 AST（抽象语法树）的 AST-T5 模型在代码生成、转译和理解任务中表现出色，保留了代码结构，对重建各种代码结构具有强大的能力，并在各种代码相关任务中优于类似尺寸的其他大型语言模型。

    Jan, 2024

  • 基于组合短语语义的无监督句子文本相似度

    本文针对各种领域但仅需要最少的数据和计算资源的无监督 STS 提出了一种轻量级的 Expectation-Correction (EC) 公式来计算 STS，此方法包括通过组合多个递归 EC 公式来捕捉组合短语语义的 Recursive Optimal Transport Similarity (ROTS) 算法，这比之前的方法更有效和可扩展，并通过对 29 个 STS 任务的详细消融研究证明了此方法的有效性。

    Oct, 2022

  • 神经代码搜索的多模态表征

    本文介绍了一种基于树序列化方法和多模态学习模型的语义代码搜索技术，实验结果表明，这种技术可以有效提高代码搜索性能。同时提出衡量代码信息完整度的量化指标来辅助实验结果理解。

    Jul, 2021