Oct, 2023

直接神经机器翻译模型及任务级混合专家

PDF
TL;DR通过对 Task-level MoE 在直接 NMT 中的适用性进行研究，我们提出了一系列高性能的训练和评估配置，通过这些配置，基于 Task-level MoE 的直接 NMT 系统在大多数低资源和高资源的直接语言对和翻译方向上优于双语和基于中间语言的模型。
direct nmttask-level moelanguage pairstranslationnmt systems
发现论文，激发创造
  • 谷歌的神经机器翻译系统：弥合人类翻译和机器翻译之间的差距

    Google 发布的 GNMT 神经机器翻译系统采用 LSTM 深度学习网络，使用 attention 机制和残差连接，借助词元素 (wordpieces) 将单词划分为子单元，提高了稀有单词处理能力与整体系统精度。

    Sep, 2016

  • 由统计机器翻译指导的神经机器翻译

    本文提出了将 SMT 模型融入 NMT 框架，通过辅助分类器和门函数来结合 SMT 的推荐和 NMT 的生成，从而提高中英翻译的性能。实验结果表明，该方法在多个测试集上均显著优于现有的 NMT 和 SMT 系统。

    Oct, 2016

  • 基于任务的 MoE 多任务多语言机器翻译

    我们设计了一种新方法，将任务信息与 Mixture-of-experts 模型结合，通过共享的动态任务适配器在不同粒度级别上将任务信息融入模型中。实验证明，相比密集和经典的 Mixture-of-experts 模型，在多任务多语言机器翻译上，我们的方法具有优势。通过任务特定的适配器，我们的模型能够高效地泛化到新任务中。

    Aug, 2023

  • 完整的多语种神经机器翻译

    本文着眼于多语种神经机器翻译模型在英语为中心的双语语料库上的训练，结合多方对齐的语料库重新构建了完整图模型，展示了该模型在多语种翻译中的有效性和竞争力。

    Oct, 2020

  • 大规模多语言神经机器翻译

    本文探讨了多语种神经机器翻译的极限，通过实验培训了适用于 102 种语言的模型，并在 59 种语言上表现出了优异的翻译效果，表明大规模多语种神经机器翻译模型对低资源环境下的翻译质量有积极支持和刺激。

    Feb, 2019

  • 多语言神经机器翻译的多任务学习

    提出了一种基于多任务学习的框架，通过对单语数据的两个去噪任务和双语数据的翻译任务联合训练模型，显著提高了多语言 NMT 系统的翻译质量，并在零样本学习的情况下证明了该方法的有效性。

    Oct, 2020

  • 构建可提供任意 X-Y 翻译的多语言机器翻译系统

    本文旨在讨论如何通过两阶段训练策略实现多语言神经机器翻译系统，以解决低效率的问题，并在 WMT'21 多语言翻译任务中进行实验验证，证明我们的系统在大多数方向上优于基线模型，并且不需要架构修改或额外数据收集。

    Jun, 2022

  • 机器翻译的双重学习

    提出了一种双向学习机制（dual-learning mechanism），通过强化学习过程，使用一个代理模型代表原始任务模型，另一个代理模型代表对偶任务模型，以无监督学习方式自动从无标注数据中学习。实验证明，该方法在英法翻译中表现良好，尤其是在使用单语数据的情况下。

    Nov, 2016

  • 神经机器翻译：综述与调查

    本文追溯了现代神经机器翻译体系结构的起源，重点探讨了单个神经网络在翻译中的应用，其中涉及到 word 和 sentence embedding 以及编码器 - 解码器网络家族的早期示例，并总结了该领域的最新趋势。

    Dec, 2019

  • 搜索引擎引导的非参数神经机器翻译

    本研究提出了一种基于注意力机制的神经机器翻译（NMT）模型，并允许它在训练后访问整个平行句子对训练集。该模型由两个阶段组成：检索阶段和翻译阶段，实现了在源句子和一组检索的平行句子对之间的平滑翻译。在三种语言（En-Fr，En-De 和 En-Es）上的实证评估表明，该方法显著优于基准方法，并且当检索到更相关的平行句子对时，改进效果更为显著。

    May, 2017