程序翻译的树形神经网络
本文介绍了一种基于语法规则的树形解码器,用于在编程语言之间进行翻译,并发现该语法基础的树形模型在以前使用的合成任务中,在两种编程语言之间进行翻译方面优于最新的树形模型。
Jul, 2018
我们介绍了一种利用循环神经网络语法编码器和新颖的注意力递归神经网络解码器的模型,利用策略梯度强化学习来在源语言和目标语言上诱导无监督树结构,从而训练出在字符级数据集中相当不错的分割和浅层解析表现,接近注意力基准。
Sep, 2017
本文提出 Tree-Transformer 神经网络架构,可用于树状结构数据的矫正任务,并在源代码和自然语言两个领域中分别取得了 25% 和 10% 的改进。
Aug, 2019
本研究致力于改进基于编码器 - 解码器框架的神经机器翻译模型,通过显式地结合源侧语法树,在两种结构化表示(顺序和树)之间进行学习,提出具有树覆盖模型和双向树编码器的翻译模型,并证实优于其他基线模型。
Jul, 2017
本文提出了一种新的端对端句法神经机器翻译模型,在源端短语结构的基础上扩展了序列到序列模型,并引入了注意力机制,可以软对齐短语和源句子中的单词,实验结果表明,相比于序列到序列的注意力 NMT 模型,该模型表现显著提升,在 WAT'15 英日翻译数据集上,与当下最优秀的树到串翻译系统相比可媲美。
Mar, 2016
本文提出了一种基于树结构的神经架构 (TreeGen) 来生成编程语言代码,该模型使用了 Transformer 的注意力机制解决了长依赖问题,并引入了一种新颖的 AST 阅读器 (encoder) 将语法规则和 AST 结构整合到网络中。在 Python 基准测试、ATIS 和 GEO 语义解析基准测试中,TreeGen 的性能优于之前的最先进方法 4.5 个百分点,同时在 ATIS(89.1%)和 GEO(89.6%)的神经网络方法中实现了最佳精度。
Nov, 2019
本文提出一种新的图到树神经网络模型 (Graph2Tree),该模型包含一个图编码器和一个分层树解码器,能够对图结构的输入进行编码和树结构的输出进行解码,用于解决神经语义解析和数学问题求解,实验证明该模型在这些任务上表现优异。
Apr, 2020
该论文探究了加入不同语言结构对神经机器翻译性能的影响,提出了一种能够自然生成目标端任意树形结构的神经机器翻译模型,并且发现无需任何语言知识构造的平衡二叉树结构具有最佳的性能提升,能够超过标准的 seq2seq 模型和其他引入目标端语法的方法,提高 2.1 个 BLEU 分数。
Aug, 2018
本文介绍了一种简单的方法,通过翻译成线性化的、词汇化的组成树来融合有关目标语言的语法信息,实验结果表明,与同一数据集上训练的语法无关的神经机器翻译系统相比,WMT16 德英新闻翻译任务的 BLEU 评分得到了明显提升。对语法感知系统的翻译进行分析后发现,它在翻译过程中进行了更多的重排。小规模人类评估也表明了语法感知系统的优势。
Apr, 2017
本文提出了一种基于树形结构卷积神经网络的编程语言处理方法,可以对两个不同的编程分析任务进行高效的编程分类和某些代码模式的检测。结果表明,TBCNN 优于包括几个 NLP 的神经模型在内的基准方法。
Sep, 2014