EMNLPSep, 2020

用 Softmax 温化技术训练神经机器翻译模型

PDF
TL;DR本研究探讨了采用 softmax tempering 技术来训练神经机器翻译模型，在亚洲语言 Treebank 数据集和 WMT 2019 英德翻译任务中实验证明该技术显著提高翻译质量，同时使贪心搜索与 Beam Search 解码同为一体，从而实现高速翻译。此外，我们还分析了 softmax entropy 和梯度对 NMT 模型内部行为的影响。
neural machine translationsoftmax temperingtranslation qualityparameter sharingnmt models
发现论文，激发创造
  • 防止神经机器翻译语言模型过度自信

    提出了一种基于 Margin 的 Token-level Objective（MTO）和 Margin-based Sentence-level Objective（MSO）方法，并在 WMT14 英德，WMT19 中英和 WMT14 英法翻译任务中取得了良好的效果。

    May, 2021

  • 利用 BERT 优化神经机器翻译

    本文介绍了一种有力的方法，将事先训练好的语言模型（LMs）与神经机器翻译（NMT）相结合，以解决当前 LM 微调应用于资源丰富任务时巨大遗忘的难题，并在机器翻译任务中取得了优越的成果。

    Aug, 2019

  • 面向低资源神经机器翻译的迁移学习

    该研究提出了一种转移学习的方法，通过先训练一个高资源语言对以及将一些已学习的参数转移至低资源语言对，来初始化和约束训练，显著提高了 Bleu 分数，并将低资源机器翻译性能接近于强的基于语法的机器翻译系统，超过了其一个语言对的性能，并且用于重新评分可以进一步提高低资源机器翻译的表现。

    Apr, 2016

  • 加速 Entmax

    本文研究了针对语言处理中神经网络常用的 softmax 在文本生成中出现的问题，提出了一种替代 alpha-entmax 的方法，并在机器翻译任务中取得了与 alpha-entmax 相当或更好的性能。

    Nov, 2021

  • 消除词嵌入中的偏见改善多模式机器翻译

    本研究探讨了预训练词嵌入及其在多模式神经机器翻译模型中的应用，引入两种去偏差技术，并在英德翻译和英法翻译两种语言对上获得了最多 + 1.93 BLEU 和 + 2.02 METEOR 的性能提升。

    May, 2019

  • 将离散的翻译词典融入神经机器翻译

    本文提出使用离散的翻译词典，通过使用 NMT 模型的 attention 向量选择需要聚焦的源单词的词典概率，从而缓解 NMT 在翻译低频词汇时出现的错误，并进行了两种方法的实验，结果显示翻译质量（BLEU）得分有明显提高。

    Jun, 2016

  • 通过二进制代码预测的神经机器翻译

    本文提出了一种新的神经机器翻译系统输出层计算方法，基于预测每个单词的二进制码，可以在最佳情况下将输出层的计算时间 / 内存需求缩小到对数级别。此外，本文还介绍了使用纠错码和结合 softmax 和二进制码来提高鲁棒性的两种高级方法。两个英日双向翻译实验表明，所提出的模型在接近 softmax 的 BLEU 分数的同时，将内存使用率降低到不到 1/10，CPU 解码速度提高了 5 到 10 倍。

    Apr, 2017

  • 神经机器翻译的 Token 级自适应训练

    本文研究了神经机器翻译中的令牌不平衡现象，并提出采用基于目标令牌频率的目标令牌级自适应目标来训练模型，以提高翻译质量和提高翻译词汇的多样性。结果表明，与基线相比，在包含更多低频词汇的句子中，分别可以获得 1.68，1.02 和 0.52 的 BLEU 增益。

    Oct, 2020

  • 通过表示和梯度规范化提高多语言翻译

    本文提出了一种同时在表示层和梯度层面上正则化神经机器翻译（NMT）模型的方法，以解决多语言 NMT 在零 - shot 翻译中出现偏离目标语言及低质量翻译的问题，并在 WMT 和 OPUS 数据集上实现了 5.59 和 10.38 BLEU 的性能提升。

    Sep, 2021

  • 加热 Softmax 嵌入

    本研究通过训练 softmax 函数不同温度值的分类器，得到不同紧致性水平的特征嵌入，提出了一种 “加热” 策略，逐步训练分类器以实现在多个度量学习测试中的最新性能。

    Sep, 2018