提出了一种新的神经网络模型结合 Gated Graph Neural Networks 和输入转换解决了线性化启发式和参数爆炸问题,可以对 AMR 图和基于语法的神经机器翻译进行生成,实验结果表明该模型优于强基线模型。
Jun, 2018
本研究提出一种基于神经网络的译码器,结合层次短语作为训练的归纳偏差和显式约束,在维持标准序列到序列 (seq2seq) 模型的灵活性的同时。通过训练一个基于括号转录文法的判别式解析器,以层次化地对齐源和目标语短语,并使用一个神经 seq2seq 模型逐个地翻译这些对齐短语。该模型提出两种推理模式:一种只依赖于 seq2seq 模型进行序列级别的翻译,另一种则结合了解析器和 seq2seq 模型。研究结果表明,在小规模机器翻译基准测试中,该方法与对照方法相比表现良好。
Nov, 2022
我们介绍了一种利用循环神经网络语法编码器和新颖的注意力递归神经网络解码器的模型,利用策略梯度强化学习来在源语言和目标语言上诱导无监督树结构,从而训练出在字符级数据集中相当不错的分割和浅层解析表现,接近注意力基准。
Sep, 2017
本文研究了基于具有副条件语言模型的生成的序列到序列翻译方法在不同类型任务中的适用性,包括有限词汇的 grapheme-to-phoneme 任务,并探讨了双向 LSTM 神经网络在这种方法中应用的优势。
May, 2015
通过引入词汇翻译机制并使用多种词典学习算法来初始化这种机制,可以提高序列建模任务的系统化泛化能力。
Jun, 2021
本文提出了 contextualized non-local neural networks (CN3) 模型,它综合了 self-attention 和 graph neural networks 两种方法的优点,能在一定范围内构建特定任务的句子结构,从而在文本分类、语义匹配和序列标注等 10 个 NLP 任务中表现优异。
Nov, 2018
我们提出了一种基于句法树的语法引导生成模式,通过解码过程的两个部分:(1)对给定源句子中词汇化的句法上下文中的每个成分预测填充文本;(2)映射和扩展每个成分以构建下一级语法上下文以生成自然语言文本,并在重述生成和机器翻译上进行了实验。与自回归基线相比,该方法在有效性和可解释性方面更加出色。
Jun, 2023
本文提出一种基于神经机器翻译的新模型 Syntactic Attention,采用分离语法与语义学习的方式训练,拥有捕捉人类语言组成性结构的能力,相较于标准深度学习方法在具有组成性泛化任务的数据集 SCAN 上表现显著优异。
Apr, 2019
在语义解析中,提出了一个新的解码框架,该框架保留了序列到序列模型的表现力和通用性,同时具有类似词典的对齐和解开信息处理,能够提高模型的组合泛化能力。
Oct, 2020
本文提出了一种处理 neural text-to-SQL models 中编写语法的复杂性的技术,从而生成 schema-dependent grammar,对 ATIS 和 Spider 两个挑战性的 text-to-SQL 数据集进行分析,显示可以减少 14-18% 的相对误差。
May, 2019