Sep, 2021

分析使用字符级别翻译处理稀疏和嘈杂数据集的方法

PDF
TL;DR本文分析了基于字符级别机器翻译模型在使用基于中间转换的翻译中的应用，特别是在稀疏和嘈杂的数据集，例如众包电影字幕上。我们发现此类模型可以将未翻译的单词数量减少超过 40％，在有限的训练数据情况下尤其具有竞争力（2-3 BLEU 分的提高）。我们研究了字符对齐，短语表过滤，双语数据大小以及中间转换语言选择对翻译质量的影响。我们进一步比较级联翻译模型和通过多个中间转换的合成训练数据的使用，我们发现后者更好地工作。最后，我们证明了无论是词 Bleu 还是字符 Bleu 都没有完全与人类判断相符，这是由于 Bleu 对长度的敏感性所致。
machine translationcharacter-level modelspivot-based translationsparse and noisy datasetstranslation quality
发现论文，激发创造
  • 通过合成噪声训练，提高机器翻译的抗自然噪声鲁棒性

    本文提出通过引入随机合成的少量噪音来改善机器翻译中源文本字符级别波动的鲁棒性，从而提高对拼写错误等变异的覆盖率。作者表明，通过在训练时使用一些较为简单的合成噪音，可以实现对常见噪音（例如 Wikipedia 编辑日志中的修正）的鲁棒性，同时不会降低在规范文本上的表现。

    Feb, 2019

  • 为什么人们不使用基于字符级的机器翻译？

    通过文献和实证调查，我们批判性地评估了机器翻译（MT）中基于字符级建模的最新技术发展现状。尽管文献中有证据表明，与子词级方法相比，字符级系统相当可靠，但在竞争性的 WMT 比赛中几乎不被使用。我们的实证研究表明，尽管在自然语言处理的字符级建模方面取得了一些创新，但字符级 MT 系统仍然难以与基于子词的系统相匹配，也没有更好的领域稳健性或更好的形态概括性。但是，我们能够表现出对源端噪声的稳健性，并且在解码时随着 Beam size 的增加，翻译质量不会降低。

    Oct, 2021

  • 汉字级别翻译是否值得等待？字符级别与子词级别机器翻译模型的广泛比较

    通过对多种语言和实验条件下的状态 - of-the-art 字符 - 和子词级预训模型（ByT5 和 mT5）进行了广泛的比较，这项工作展示了前者不仅在翻译方面有效，并且在某些情况下比子词模型表现更好，特别是在训练数据有限的情况下。字符模型唯一的缺点似乎是效率低（至少慢 4 倍的训练和推理时间）。进一步的分析表明，字符模型能够隐含地在词或子词级别上进行翻译，从而抵消了字符级别操作的一个主要潜在弱点。

    Feb, 2023

  • 基于子词分割的下采样在字级别翻译中的应用

    通过引入一种新的信息量更大的降采样方法，将字符水平的机器学习模型在机器翻译领域中的表现提高到与子词水平的模型接近。

    Dec, 2022

  • 基于字符级神经机器翻译和语言相似度

    我们探讨了基于字符级神经机器翻译的 Transformer 架构在不同语言相似度和训练数据集大小上的效果，针对捷克语、克罗地亚语、德语、匈牙利语、斯洛伐克语和西班牙语之间的翻译进行了评估，使用自动 MT 指标，证明了在相似语言之间，字符级输入分割有益；而对于不相关语言，字符级传统 Transformer 基本落后于子词级分割；我们实验证实了通过微调已经训练好的子词级模型可以弥补这一差距的先前研究结论。

    Aug, 2023

  • 字符级神经机器翻译的语法性如何？通过对比翻译对评估机器翻译质量

    通过对神经机器翻译实现对特定语言现象的质量评估，我们提出了一种新方法并给出了包含 97000 对用于 WMT 英语 -> 德语翻译任务的对照翻译数据集 LingEval97，对字符级别和字节对编码（BPE）分割模型的实验结果显示，前者在翻译转写方面表现更好，但在形态句法协议和翻译非连续的意义单元方面表现较差。

    Dec, 2016

  • 词、子词或字符？汉英 NMT 中粒度的实证研究

    本文对多个使用不同类型划分的翻译模型在中英翻译任务中进行了探究和比较，发现在中文翻译到英文的任务中，使用子词模型效果最好。在英文翻译到中文的任务中，使用混合词形式模型最优。此外，使用 混合_BPE 方法在中文翻译到英文的任务中取得了最佳效果。

    Nov, 2017

  • 不需显式分段的全字符级神经机器翻译

    该研究提出了一个无需分词的神经机器翻译模型，在 WMT'15 数据集上使用多语言字符级编码器和基于字符卷积神经网络的模型，不仅速度快，泛化性能好，而且能够跨多语言实现高质量普适翻译，效果优于子词级编码器。

    Oct, 2016

  • 基于字符级 Transformer 的神经机器翻译

    本文针对机器翻译中常用的子词级神经网络模型提出了基于字符级翻译的 Transformer 模型，实验证明所提出的模型在训练效率和翻译质量方面是优于先前的字符级模型且与子词级模型相当的，代码和模型已经公开发布。

    May, 2020

  • 纯字符级神经机器翻译的理解：以从芬兰语到英语的翻译为例

    本文探讨了纯字符级模型在芬兰语到英语机器翻译中的效果，并证明了字符序列中不同位置的字符在学习语言知识方面扮演着不同的角色。通过实验证明，单头的基于字级别的注意力机制会导致 BLEU 分数下降 1.2 分。

    Nov, 2020