该研究提出了一个无需分词的神经机器翻译模型,在 WMT'15 数据集上使用多语言字符级编码器和基于字符卷积神经网络的模型,不仅速度快,泛化性能好,而且能够跨多语言实现高质量普适翻译,效果优于子词级编码器。
Oct, 2016
本文探讨了使用字符级别的解码器和子词级别的编码器在神经网络机器翻译中能否生成一个不需要显式分段的字符序列,并使用 WMT'15 平行语料库对四种语言对 - En-Cs、En-De、En-Ru 和 En-Fi 进行了实验,结果表明具有字符级别解码器的模型在所有四种语言对上的表现均优于具有子词级别解码器的模型,在 En-Cs、En-De 和 En-Fi 上的神经网络插件比最先进的非神经机器翻译系统更为优秀,在 En-Ru 上性能相当。
Mar, 2016
本文提出了一种基于卷积层的神经机器翻译框架,相比双向 LSTM 网络,该框架可以同时编码整个源语句,从而加速了翻译速度,在 WMT'16 数据集上达到了竞争水平的准确性,并在 WMT'15 和 WMT'14 数据集上取得了优异的结果。
Nov, 2016
本研究将显式神经间语纳入多语言编码 - 解码神经机器翻译(NMT)体系结构中,证明该模型通过直接零 - shot 翻译(不使用中转翻译)并使用源语句嵌入来创建英语 Yelp 评论分类器,该分类器能够通过神经间语协调法也对法语和德语评论进行分类,并且即使我们使用的参数数量比成对的 NMT 模型集合少,但我们的方法对于 WMT15 中的每个语言对产生了相当的 BLEU 得分。
Apr, 2018
本文针对机器翻译中常用的子词级神经网络模型提出了基于字符级翻译的 Transformer 模型,实验证明所提出的模型在训练效率和翻译质量方面是优于先前的字符级模型且与子词级模型相当的,代码和模型已经公开发布。
May, 2020
本文旨在解决传统编码器 - 解码器架构中的长度固定向量制约所面临的性能瓶颈,并提出一种基于(软)搜索方式的新方法,在英法翻译任务中获得了与基于短语的模型相当的翻译性能,且(软)对齐结果与人类直觉相符。
Sep, 2014
本文针对神经机器翻译系统忽略词法低层级模式的问题,提出一种字符感知解码器,通过卷积神经网络结构训练,以实现针对语言词法丰富情况下的 MT 系统翻译质量提升。实验结果表明,本文方法在 14 种不同类型的语言翻译中,能够显著提升 BLEU 得分。
Sep, 2018
分析神经机器翻译的性能,研究了两种模型:RNN 编码器 - 解码器和新提出的门控递归卷积神经网络,结果显示神经机器翻译在翻译较短,不含生词句子时表现相对良好,但随着句子长度和生词数的增加,其性能会迅速降低。同时发现,所提出的门控递归卷积网络能够自动学习句子的语法结构。
本研究探讨了将源文本和目标文本直接拼接并训练语言模型进行翻译的想法,通过对双语翻译、额外目标语单语数据翻译和多语言翻译的实验,结果表明这种替代方法与基线中的编码器 - 解码器 Transformer 模型表现相当,表明编码器 - 解码器架构对于神经机器翻译可能是多余的。
Oct, 2022
本论文研究了如何通过采用轻量级解码器和词汇筛选来加速多语言神经机器翻译的推理速度,而不影响翻译质量,使用 BLEU 和 chrF 进行实验验证,并进行了健壮性评估和人类评估。
Sep, 2021