本文提出了一种基于树结构的神经架构 (TreeGen) 来生成编程语言代码，该模型使用了 Transformer 的注意力机制解决了长依赖问题，并引入了一种新颖的 AST 阅读器 (encoder) 将语法规则和 AST 结构整合到网络中。在 Python 基准测试、ATIS 和 GEO 语义解析基准测试中，TreeGen 的性能优于之前的最先进方法 4.5 个百分点，同时在 ATIS（89.1%）和 GEO（89.6%）的神经网络方法中实现了最佳精度。

Nov, 2019

本文提出了一种广义的分层 Transformer 编码器框架，并通过一系列实验展示了分层编码如何帮助任务导向的对话系统中的 transformer-based 模型更好地理解上下文从而实现更好的自然语言理解。

Oct, 2020

本文提出 Tree-Transformer 神经网络架构，可用于树状结构数据的矫正任务，并在源代码和自然语言两个领域中分别取得了 25% 和 10% 的改进。

Aug, 2019

我们介绍了一种利用循环神经网络语法编码器和新颖的注意力递归神经网络解码器的模型，利用策略梯度强化学习来在源语言和目标语言上诱导无监督树结构，从而训练出在字符级数据集中相当不错的分割和浅层解析表现，接近注意力基准。

Sep, 2017

本研究致力于改进基于编码器 - 解码器框架的神经机器翻译模型，通过显式地结合源侧语法树，在两种结构化表示（顺序和树）之间进行学习，提出具有树覆盖模型和双向树编码器的翻译模型，并证实优于其他基线模型。

Jul, 2017

本研究提出了一种新的动态位置编码（DPE）方法，通过新的位置嵌入来纠正目标单词的位置信息，相较于传统 Transformers 在英德法意四种翻译任务中取得了显著的性能提升。

Apr, 2022

本文提出一种新的图到树神经网络模型 (Graph2Tree)，该模型包含一个图编码器和一个分层树解码器，能够对图结构的输入进行编码和树结构的输出进行解码，用于解决神经语义解析和数学问题求解，实验证明该模型在这些任务上表现优异。

Apr, 2020

本文介绍了一种基于语法规则的树形解码器，用于在编程语言之间进行翻译，并发现该语法基础的树形模型在以前使用的合成任务中，在两种编程语言之间进行翻译方面优于最新的树形模型。

Jul, 2018

通过生成具有树遍历顺序的目标句子的新方法，本研究旨在提高现有系统的性能。此外，还引入了一个名为 SenTree 的模块来生成近似二叉树，并提出了一个基于该方法的联合训练框架，结合生成对抗网络的内在机制。

Jun, 2024

该研究使用 Transformer 架构，通过让其了解代码的句法结构，提高了预测代码的准确性，在标准的 Python 数据集和 Facebook 内部 Python 语料库上进行了全面的实验评估。

Mar, 2020