ACLApr, 2020

多语言无监督神经机器翻译的知识蒸馏

PDF
TL;DR本文介绍了一种简单的方法，使用单个编码器和解码器之间的翻译来在 13 种语言之间翻译，基于经验发现，提出了两种知识蒸馏方法，以进一步增强多语言机器翻译性能。我们的实验表明，在零 - shot 翻译方案中，在低资源语言对中减轻了糟糕的性能，并在一些非英语语言对之间实现了可靠性能。
发现论文，激发创造
  • 多语言神经机器翻译与知识蒸馏

    本文提出一种基于蒸馏的方法来提高多语言机器翻译的准确性，并在数据集上进行了实验，结果表明该方法可以通过训练单独的模型（即老师）来训练多语言模型，这使得一个模型即可具备处理多达 44 种不同语言的能力（且其准确性与单独模型相当甚至更优）。

    Feb, 2019

  • 基于知识蒸馏的多语言神经机器翻译的终身学习

    研究多语言神经机器翻译中的灾难性遗忘问题，并提出基于知识蒸馏的生命周期学习方法，以应对其面临的问题。实验结果显示，该方法能够更好地巩固以前的知识并显著减轻问题。

    Dec, 2022

  • 序列级知识蒸馏

    本文介绍了在神经机器翻译中应用知识蒸馏技术，包括传统的单词级别预测和两种新的序列级知识蒸馏模型。在现有最优模型的基础上，我们的学生模型在运行速度增加的同时，表现损失不大。此外，通过权重剪枝，还极大地减小了模型的参数数量。

    Jun, 2016

  • 无监督多模态神经机器翻译

    本研究提出了一种基于多模态机器翻译框架的无监督神经机器翻译方法，通过图像识别加强双向多模态翻译的学习效果，在 Multi30K 数据集上与传统基于文本的神经机器翻译相比，本方法有更好的实验结果。

    Nov, 2018

  • 利用知识蒸馏压缩多语言神经机器翻译模型的实证研究

    本文探讨了如何通过知识蒸馏来压缩 MNMT 模型，发现这是一项具有挑战性的任务，并提出了一些设计思考和优化方案。

    Apr, 2023

  • 跨语言监督提高无监督神经机器翻译

    本研究提出了一种跨语言无监督神经机器翻译框架，利用来自高资源语言对的弱监督信号，以提高零资源翻译质量。该框架基于多语言模型，不需要对标准无监督神经机器翻译进行改动，实验结果表明使用该框架可以在六个基准无监督翻译方向上将翻译质量提高超过 3 个 BLEU 分数。

    Apr, 2020

  • 通过知识蒸馏提高用于自然语言理解的多任务深度神经网络

    本文使用知识蒸馏方法对多任务深度神经网络进行优化，提供了解决集成大型神经网络问题的方法，并在 GLUE 基准测试中取得了显著的成果。

    Apr, 2019

  • 神经机器翻译的集成蒸馏

    论文介绍了基于知识蒸馏的神经机器翻译方法，并探讨了如何快速训练单个 NMT 系统，以获得来自多个教师网络的同等翻译质量，通过基于教师网络的数据过滤方法实现训练加速和翻译质量的提高。

    Feb, 2017

  • 印度德拉维达语系自监督机器翻译

    本研究探讨无监督神经机器翻译在象征 Dravidian 家族的低资源语言翻译领域中的应用，并通过使用其他相关 Dravidian 语言之间的有限而有益的辅助数据，建议在 UNMT 模型中统一书写系统是非常重要的。利用所提出的语言相似度指标可选择相似的辅助语言来实现 UNMT，可以产生较好的效果。

    Mar, 2021

  • 神经机器翻译最近邻知识蒸馏

    本文提出一种改进机器翻译模型的方法，即将 NN search 前置，并通过最近邻知识蒸馏（NN-KD）训练基本 NMT 模型直接学习 NN 知识，可以更好地解决机器翻译中的过度纠正问题，并在保持训练和解码速度不变的情况下，实现了比 NN-MT 等现有方法更好的结果。

    May, 2022