本文介绍了使用神经序列到序列模型在现有数据集上达到最先进或接近最先进的结果,以转录为重点组件的机器翻译系统和软件国际化。为了使机器转录易于使用,我们开放了一个新的阿拉伯文到英文的转录数据集和我们训练的模型。
Oct, 2016
通过引入词汇翻译机制并使用多种词典学习算法来初始化这种机制,可以提高序列建模任务的系统化泛化能力。
Jun, 2021
本文提出了一种基于深度神经网络(DNN)的序列学习方法,使用多层长短时记忆(LSTM)解码目标序列并展现了其在英法翻译任务中优于传统短语模型翻译的成果,同时还发现调整源语句中单词的顺序可以有利于优化问题的解决。
Sep, 2014
本研究使用状态转移机器学习估计序列之间的译码方法,通过探索序列到序列学习的等效问题,其考虑到一种基于准同步文法的层次序列到序列方法,在各种应用中达到了合理的性能。
Sep, 2021
我们提出一种递归编码器 - 解码器深度神经网络架构,直接将一种语言中的语音转换为另一种语言中的文本,通过多任务训练序列到序列的语音翻译和识别模型通过共享编码器网络来提高性能。
Mar, 2017
该论文提出了一种将 GANs 应用于 NMT 的方法,其通过生成对抗网络实现机器翻译任务中句子的生成,并使用 BLEU 评估模型表现,实验证明该方法在英德和中英翻译任务上均优于传统的 RNNSearch 和最新的 Transformer 模型。
对序列到序列方法进行的纠错实验中发现,基于字符的模型通常比基于单词的模型和通过卷积编码子单词信息的模型更有效,并且将输出数据建模为一系列差异可提高效果,而我们最强的序列到序列模型比最强的基于短语的统计机器翻译模型在数据相同的情况下得分提高了 6 M2 点(0.5 GLEU)。此外,在标准 CoNLL-2014 设置的数据环境中,我们证明了建模(并调整)差异可以使用更简单的模型和 / 或比以前的序列到序列方法少得多的数据获得类似或更好的 M2 得分。
Jul, 2017
使用序列生成结构的多语言模型能够更好的处理像希伯来语这样的形态丰富语言,从而提高希伯来语自然语言处理,与以往的编码器结构的预训练模型相比,取得了显著改善。
Dec, 2022
提出了一种新的神经机器翻译模型,利用目标序列上下文的结构预测来引导翻译,从而使之摆脱顺序约束,实现了重复减少和跨长度翻译的鲁棒性,相较于当前最优方法有着更为优越的效果表现。
Jun, 2018
本研究提出一种基于神经网络的译码器,结合层次短语作为训练的归纳偏差和显式约束,在维持标准序列到序列 (seq2seq) 模型的灵活性的同时。通过训练一个基于括号转录文法的判别式解析器,以层次化地对齐源和目标语短语,并使用一个神经 seq2seq 模型逐个地翻译这些对齐短语。该模型提出两种推理模式:一种只依赖于 seq2seq 模型进行序列级别的翻译,另一种则结合了解析器和 seq2seq 模型。研究结果表明,在小规模机器翻译基准测试中,该方法与对照方法相比表现良好。
Nov, 2022