本文提出 Tree-Transformer 神经网络架构,可用于树状结构数据的矫正任务,并在源代码和自然语言两个领域中分别取得了 25% 和 10% 的改进。
Aug, 2019
使用子树替换进行合成数据增强可显著提高模型性能,特别是在 SCAN 和 GeoQuery 上,同时在 GeoQuery 的组成分离上达到了新的 SOTA。
May, 2022
本文提出了一个基于句子压缩技术的任务框架,通过基于解析树的一系列学习模型,设计一种创新的 Beam Search 解码器来高效地找到高概率压缩结果,将语言学动机和查询相关性融入压缩过程中,并在多项指标上显著优于最先进的系统,包括在 DUC 2006 和 2007 摘要任务中分别获得 ROUGE-2 指标上 8.0% 和 5.4% 的改进。
Jun, 2016
本研究提出一种基于神经网络的译码器,结合层次短语作为训练的归纳偏差和显式约束,在维持标准序列到序列 (seq2seq) 模型的灵活性的同时。通过训练一个基于括号转录文法的判别式解析器,以层次化地对齐源和目标语短语,并使用一个神经 seq2seq 模型逐个地翻译这些对齐短语。该模型提出两种推理模式:一种只依赖于 seq2seq 模型进行序列级别的翻译,另一种则结合了解析器和 seq2seq 模型。研究结果表明,在小规模机器翻译基准测试中,该方法与对照方法相比表现良好。
Nov, 2022
本文介绍了一种基于语法规则的树形解码器,用于在编程语言之间进行翻译,并发现该语法基础的树形模型在以前使用的合成任务中,在两种编程语言之间进行翻译方面优于最新的树形模型。
Jul, 2018
该研究提出了一种明确的句子压缩方法来增强源句子对于 NMT 的表征,包括背景信息,提出三种整合压缩句子到 NMT 的方法,并在 WMT 英法和英德翻译任务上进行实验测试,结果显示该压缩方法显著提高了翻译表现。
Dec, 2019
本文提出了一种新的语言模型,通过序列组合树来取代之前基于线性链的假设,消除了结构上的任何假设,利用对比熵作为评估度量标准对新模型进行评估,相较于以往基于递归神经网络的模型,在失真级别上获得了超过 100% 的改进。
Apr, 2016
本研究致力于改进基于编码器 - 解码器框架的神经机器翻译模型,通过显式地结合源侧语法树,在两种结构化表示(顺序和树)之间进行学习,提出具有树覆盖模型和双向树编码器的翻译模型,并证实优于其他基线模型。
Jul, 2017
通过生成具有树遍历顺序的目标句子的新方法,本研究旨在提高现有系统的性能。此外,还引入了一个名为 SenTree 的模块来生成近似二叉树,并提出了一个基于该方法的联合训练框架,结合生成对抗网络的内在机制。
Jun, 2024
该论文探究了加入不同语言结构对神经机器翻译性能的影响,提出了一种能够自然生成目标端任意树形结构的神经机器翻译模型,并且发现无需任何语言知识构造的平衡二叉树结构具有最佳的性能提升,能够超过标准的 seq2seq 模型和其他引入目标端语法的方法,提高 2.1 个 BLEU 分数。
Aug, 2018