Mar, 2016

神经机器翻译中无需显式分词的基于字符级别解码器

PDF
TL;DR本文探讨了使用字符级别的解码器和子词级别的编码器在神经网络机器翻译中能否生成一个不需要显式分段的字符序列，并使用 WMT'15 平行语料库对四种语言对 - En-Cs、En-De、En-Ru 和 En-Fi 进行了实验，结果表明具有字符级别解码器的模型在所有四种语言对上的表现均优于具有子词级别解码器的模型，在 En-Cs、En-De 和 En-Fi 上的神经网络插件比最先进的非神经机器翻译系统更为优秀，在 En-Ru 上性能相当。
发现论文，激发创造
  • 不需显式分段的全字符级神经机器翻译

    该研究提出了一个无需分词的神经机器翻译模型，在 WMT'15 数据集上使用多语言字符级编码器和基于字符卷积神经网络的模型，不仅速度快，泛化性能好，而且能够跨多语言实现高质量普适翻译，效果优于子词级编码器。

    Oct, 2016

  • 基于字符级 Transformer 的神经机器翻译

    本文针对机器翻译中常用的子词级神经网络模型提出了基于字符级翻译的 Transformer 模型，实验证明所提出的模型在训练效率和翻译质量方面是优于先前的字符级模型且与子词级模型相当的，代码和模型已经公开发布。

    May, 2020

  • 面向形态丰富语言的字符感知解码器

    本文针对神经机器翻译系统忽略词法低层级模式的问题，提出一种字符感知解码器，通过卷积神经网络结构训练，以实现针对语言词法丰富情况下的 MT 系统翻译质量提升。实验结果表明，本文方法在 14 种不同类型的语言翻译中，能够显著提升 BLEU 得分。

    Sep, 2018

  • 论字符级神经机器翻译中词边界的重要性

    本文提出了一种更高效的字符级神经机器翻译解码方法，使用词和字符级别的分层解码结构，能够优化机器翻译性能并学习更长的上下文和语法依赖。

    Oct, 2019

  • 高效的字符级神经机器翻译

    本文提出了一种基于深度字符级神经机器翻译的高效架构，可以大大提高训练速度和内存效率，同时解决了大词汇量的问题，并实现了像人一样翻译错别字的能力。

    Aug, 2016

  • 基于字符的神经机器翻译

    本研究介绍了一种基于字符级别表示的神经机器翻译模型，该模型使用注意力机制实现从字符级别到单词级别的翻译，并具有一定的词形识别与生成能力。

    Nov, 2015

  • 基于字符的神经机器翻译：容量和压缩的再思考

    本论文通过设计深度模型对字符级信息进行序列到序列建模，并且验证了该模型优于传统的基于单词片段的模型，从而为字符级神经机器翻译提供了参考。同时，通过评估多种字符级 NMT 技术，发现它们不能与深层字符基线模型的表现相匹配。最后，我们还在该框架内进行了针对 NMT 的条件计算时间的第一次评估。

    Aug, 2018

  • 利用子字符级信息的表意文字神经机器翻译

    该研究着眼于汉字与英文字母等不同书写语言之间的差异，并使用了一种简单的方法来利用汉字更细致的结构信息，以提高神经机器翻译系统的性能。结果表明，这种方法不仅改进了汉英翻译，还进一步改进了汉日翻译，因为它利用了类似汉字部首的共享信息。

    Sep, 2018

  • 计划、关注、生成：具备解码器规划功能的汉字级神经机器翻译

    研究在字符级机器翻译中将规划机制与显式对齐的编码器 - 解码器架构相结合，开发了一种计划先行的模型，该模型可以计算源序列和目标序列之间的对齐，并构建一个建议的未来对齐矩阵和一个决策向量以确定是否遵循或重新计算计划。该机制受到了战略关注读者和写作者（STRAW）模型的启发，并通过 WMT'15 语料库上字符级解码器神经机器翻译的三个任务表现优异。我们的分析表明，我们的模型可以计算出具有定性直观性的对齐，并且使用更少的参数可以实现卓越的性能。

    Jun, 2017

  • 通过微调子词系统实现合理大小的基于字符级别的 Transformer NMT

    实现字符级别的 Transformer 架构通常需要非常深的架构，难以训练。本文提出一种通过在模型中将分词与字元结合进行初步训练，然后在字符级别上调整，从而实现不需要分词的神经机器翻译模型的方法，并且展示了这种方法更好地捕捉了语言形态现象和更加健壮，训练的代价相对较小。

    Apr, 2020