May, 2018

Marian: C++ 实现的高质量低成本神经机器翻译

PDF
TL;DR本文介绍了 “Marian” 小组对 WNMT 2018 共享任务的提交。我们研究了在 GPU 和 CPU 上优化 Transformer 模型的各种方法，包括教师 - 学生训练、低精度矩阵积、自动调节等。通过进一步结合新的平均注意力网络，我们在 GPU 和 CPU 上创建了许多高质量、高性能的模型，支配了此共享任务的 Pareto 前沿。
发现论文，激发创造
  • Marian: 基于 C++ 的快速神经机器翻译

    介绍一种名为 Marian 的高效率、自我包容的神经机器翻译框架，其集成了基于动态计算图的自动微分引擎，完全采用 C++ 编写，以编码器 - 解码器框架设计为主，通过实验证明，这种研究友好型工具包既具有高效的训练和翻译速度。

    Apr, 2018

  • 通过微调 Transformer 模型实现同时释义和翻译

    本论文介绍了使用预训练模型结合 Transformer 架构和过采样策略，对同时翻译和改写语言教育的共享任务的第三种方法。该系统在匈牙利语和葡萄牙语方面表现优异，比基准系统改进了 27% 和 33% 的宏平均 F1 得分。

    May, 2020

  • Adam Mickiewicz University 在 WMT 2022 中的：NER 辅助和质量感知的神经机器翻译

    本文提出了 Adam Mickiewicz 大学对于 WMT 2022 通用机器翻译任务的限制性跟踪的提交结果，使用基于 transformer 架构的加权集成模型进行双向乌克兰语 <-> 捷克语翻译，使用源因子利用输入的命名实体信息，在训练数据之外使用噪声后向传递技术进行数据增强。使用 noisy back-translation 技术增加训练语料库。模型集成是由 4 个模型加权结合而成，并针对多句翻译使用了文档级模型进行训练，最后使用现有的质量估计模型和最小贝叶斯风险解码将 n-best 列表进行重排序，使得最佳假设能够根据 COMET 评估度量标准被选择。根据自动评估结果，在两个翻译方向上我们的系统排名第一。

    Sep, 2022

  • WMT19 中的英捷系统：文档级 Transformer

    本文介绍在 WMT19 共享任务中，我们采用 Transformer 模型和 document-level 训练方式，用于英捷克翻译，以提高翻译文件的充分性和连贯性。

    Jul, 2019

  • 谷歌的神经机器翻译系统：弥合人类翻译和机器翻译之间的差距

    Google 发布的 GNMT 神经机器翻译系统采用 LSTM 深度学习网络，使用 attention 机制和残差连接，借助词元素 (wordpieces) 将单词划分为子单元，提高了稀有单词处理能力与整体系统精度。

    Sep, 2016

  • 剑桥大学 WMT18 机器翻译系统

    该论文探究利用多种不同的神经模型进行翻译的组合，其中包括递归、卷积和自注意力模型，最终结合短语基 SMT 系统的 MBR 方案，相较于强 Transformer 模型集合，取得了小但一致的收益。

    Aug, 2018

  • 神经机器翻译体系结构的大规模探索

    本研究对神经机器翻译（NMT）架构的超参数进行了首次大规模分析，并报告了标准 WMT 英德翻译任务上数百个实验结果和方差数，相当于超过 25 万 GPU 小时。通过这些实验，得出了新的见解和建议，建立了一个开源 NMT 框架，使研究人员可以轻松地实验新技术并重现最先进的结果。

    Mar, 2017

  • LIUM-CVC 提交的 WMT18 多模式翻译任务

    本文介绍了由 LIUM 和 CVC 开发的多模态神经机器翻译系统，描述了他们在 WMT18 多模态翻译共享任务中提出的几种修改架构，以更好地整合卷积特征和使用编码器方面的信息来优化模型，最终在英法和英德语言对上以 METEOR 自动评估指标为参考，获得第一和第二名。

    Sep, 2018

  • NiuTrans 机器翻译系统用于 WMT21

    介绍了 NiuTrans 神经机器翻译系统及其在多个语言（包括中文、日语、俄语、冰岛语）的 WMT2021 新闻翻译任务中的应用，利用多种方法包括 Transformer、回译、知识蒸馏和微调等提高翻译的性能。

    Sep, 2021

  • MeMAD 参加 WMT18 多模式翻译任务

    本文介绍了 MeMAD 项目进入 WMT 多模式机器翻译共享任务的情况，其中我们提出将 Transformer 神经机器翻译架构适应于多模式环境，并描述了我们在此选择之前对纯文本翻译系统的初步实验。我们拥有英语 - 德语和英语 - 法语两种语言的最高分数系统，在 flickr18 的自动指标中都得到了很好的表现。我们的实验表明，图像特征在我们的系统中作用不大，最大的收益来自于基于纯文本 NMT 系统的质量。我们发现适当地使用其他数据是有效的。

    Aug, 2018