本文提出了一个名为 SG-Trans 的新颖方法，通过将本地符号信息和全局句法结构注入到 Transformer 的自注意模块作为归纳偏置，并设计能够分布在 Transformer 的较低层和高层的注意头中，进一步捕捉代码的层次特征，将其有效地集成到 Transformer 来实现深度学习自动生成代码摘要，经过广泛评估，SG-Trans 相对于最佳基准测试结果在两个基准数据集上分别提高了 1.4％和 2.0％的 METEOR 得分，这是一种广泛用于测量生成质量的指标。

Apr, 2021

本研究利用编码器 - 解码器 Transformer 模型进行编码生成，使用诸如抽象语法树路径预测和数据流预测等辅助任务，结构感知地提高了生成代码质量，实现了代码翻译和文本到代码生成任务的最新性能状态。

Jun, 2022

该研究提出了一种结构相对位置引导的 Transformer 模型，名为 SCRIPT，通过解析源代码的抽象语法树来获得词汇之间的结构相对位置，以更好地捕捉源代码的语义表示，实验结果表明，与现有技术相比，SCRIPT 性能更好。

Feb, 2022

本文探讨使用 Transformer 模型和自注意力机制来生成代码表示以进行源代码概述的任务，并提出其相对编码表现显著优于绝对编码，并通过实验验证其在处理长距离依赖性方面的有效性，实现了领先于现有技术的性能表现。

May, 2020

文章提出了利用聚合注意力得分和注意力图从预训练模型自动提取程序图的方法，并将该方法应用于变量误用任务中，证明了自动提取的程序图具有极高的有意义和有效性。

Jul, 2022

该研究探讨了使用神经机器翻译模型进行源代码自动生成文档的机器翻译任务，并阐述了抽象语法树在源码的机器学习研究中的重要性和 Tree-LSTM 方法的局限性，并提出了一种新方法 Multi-way Tree-LSTM 来应对此问题，对比现有技术取得更好的结果。

Jun, 2019

本文提出了一种基于 Transformer 和 Actor-Critic 网络的框架 TranS^3，以整合代码概括和代码搜索，并证明其在这两个领域中均优于现有方法。

Mar, 2020

这篇论文通过使用先进的基于变压器的语言模型深入研究了代码摘要。通过实证研究，我们改变函数和变量名称来评估代码摘要的效果，以探索模型是否真正理解代码语义或仅依赖于文本线索。我们还引入了死代码和注释代码等对抗性实验，覆盖了 Python、Javascript 和 Java 三种编程语言，进一步审查模型的理解能力。最终，我们的研究旨在提供有关基于变压器的语言模型内部工作方式的有价值见解，增强其理解代码的能力，并为更高效的软件开发实践和维护工作流做出贡献。

Oct, 2023

本文提出一种基于 Actor-Critic 模型和抽象语法树的深度强化学习框架，用于代码摘要。该模型在训练时采用 BLEU 指标进行奖励，实验证明该模型在真实世界数据集上的表现优于一些最先进的方法。

Nov, 2018

本研究旨在提出一种基于多尺度、多模态方法和 Transformer 的源代码摘要生成模型 (M2TS)，该模型使用多尺度 AST 特征提取方法、代码词法特征和跨模态融合方法，以更全面准确地抓取 AST 的结构特征，同时融合语法和上下文语义信息，从而生成源代码的高质量摘要并在实验证明了其优于当前最新研究。

Mar, 2022