Nov, 2017

词、子词或字符？汉英 NMT 中粒度的实证研究

PDF
TL;DR本文对多个使用不同类型划分的翻译模型在中英翻译任务中进行了探究和比较，发现在中文翻译到英文的任务中，使用子词模型效果最好。在英文翻译到中文的任务中，使用混合词形式模型最优。此外，使用 混合_BPE 方法在中文翻译到英文的任务中取得了最佳效果。
neural machine translationtranslation granularitieschinese-english nmtsubword modelhybrid word-character model
发现论文，激发创造
  • 采用子单元的神经机器翻译生僻词

    本文提出了一种基于子单词单位的、更简单且更有效的方法来处理翻译中的开放性词汇问题，并通过实验证明了这种方法相较于备用字典模式可以提升该模型的翻译效果。

    Aug, 2015

  • 论字符级神经机器翻译中词边界的重要性

    本文提出了一种更高效的字符级神经机器翻译解码方法，使用词和字符级别的分层解码结构，能够优化机器翻译性能并学习更长的上下文和语法依赖。

    Oct, 2019

  • 汉字级别翻译是否值得等待？字符级别与子词级别机器翻译模型的广泛比较

    通过对多种语言和实验条件下的状态 - of-the-art 字符 - 和子词级预训模型（ByT5 和 mT5）进行了广泛的比较，这项工作展示了前者不仅在翻译方面有效，并且在某些情况下比子词模型表现更好，特别是在训练数据有限的情况下。字符模型唯一的缺点似乎是效率低（至少慢 4 倍的训练和推理时间）。进一步的分析表明，字符模型能够隐含地在词或子词级别上进行翻译，从而抵消了字符级别操作的一个主要潜在弱点。

    Feb, 2023

  • 基于字符级 Transformer 的神经机器翻译

    本文针对机器翻译中常用的子词级神经网络模型提出了基于字符级翻译的 Transformer 模型，实验证明所提出的模型在训练效率和翻译质量方面是优于先前的字符级模型且与子词级模型相当的，代码和模型已经公开发布。

    May, 2020

  • 通过 ASCII 编码的汉英字符级翻译

    本研究利用 Wubi 编码方案将汉字划分为类似于印欧语系的语言单元，为实现基于字符级的汉英翻译建立了基础，并使用循环和卷积模型等方法进行训练以取得了良好的结果。

    May, 2018

  • 神经机器翻译的分割粒度优化

    本文提出一种自动调节神经机器翻译中分词粒度的方法，可以在训练的同时引入新的词汇并优化语言分割，最终达到与最优表现相似的结果，并在训练效率和罕见词汇的表现方面带来了改进。

    Oct, 2018

  • 为什么人们不使用基于字符级的机器翻译？

    通过文献和实证调查，我们批判性地评估了机器翻译（MT）中基于字符级建模的最新技术发展现状。尽管文献中有证据表明，与子词级方法相比，字符级系统相当可靠，但在竞争性的 WMT 比赛中几乎不被使用。我们的实证研究表明，尽管在自然语言处理的字符级建模方面取得了一些创新，但字符级 MT 系统仍然难以与基于子词的系统相匹配，也没有更好的领域稳健性或更好的形态概括性。但是，我们能够表现出对源端噪声的稳健性，并且在解码时随着 Beam size 的增加，翻译质量不会降低。

    Oct, 2021

  • 利用子字符级信息的表意文字神经机器翻译

    该研究着眼于汉字与英文字母等不同书写语言之间的差异，并使用了一种简单的方法来利用汉字更细致的结构信息，以提高神经机器翻译系统的性能。结果表明，这种方法不仅改进了汉英翻译，还进一步改进了汉日翻译，因为它利用了类似汉字部首的共享信息。

    Sep, 2018

  • 不需显式分段的全字符级神经机器翻译

    该研究提出了一个无需分词的神经机器翻译模型，在 WMT'15 数据集上使用多语言字符级编码器和基于字符卷积神经网络的模型，不仅速度快，泛化性能好，而且能够跨多语言实现高质量普适翻译，效果优于子词级编码器。

    Oct, 2016

  • 神经机器翻译中更好的子词划分

    本文提出将字节对编码（Byte Pair Encoding）引入到通用无监督框架中以解决翻译任务中由于罕见或未知单词对翻译效果的限制，经实验验证在德英和中英翻译任务中，使用 accessor variety 和 description length gain 进行优化能在不同程度上优于基线频率加权方案。

    Jul, 2018