神经机器翻译学习动态的理解
本研究提出一种动态课程学习方法,通过衡量模型的收益和能力来调整训练样本的顺序,从而使训练低资源神经机器翻译模型更加高效。在 Transformer-based 系统上的实验结果表明,该方法优于几个强基线,并适用于不同大小的 low-resource 机器翻译基准。
Nov, 2020
提出了一种利用自监督学习和小规模词典来初始化神经机器翻译(NMT)模型,在初始化后使用主动学习策略提高低资源条件下(如稀缺语言)翻译模型性能的方法,并提出了一种基于领域适应的新型主动学习策略。除此之外,我们还表明,使用这种初始化方法和主动学习策略可相比于传统方法提高最多 13 个 BLEU 点。
Jan, 2022
本研究利用训练动态作为难度指标,对现有的课程学习调度程序进行修改,并在多个自然语言理解任务中展示出通过训练动态的课程学习可以在零 - shot 跨语言传输和 out-of-distribution(OOD)场景下获得更好的性能,提高至多 8.5%。同时,该方法相较于其他难度度量方法更能平滑训练,并且平均速度提高了 20%。
Oct, 2022
本文提出了一种基于源语种单语数据的领域适应学习曲线预测模型,该模型利用 NMT 编码器表示与各种实例和语料库级别特征相结合,能更好地区分不同领域,并探讨了该方法的局限性和未来研究方向。
Apr, 2022
本文使用 Joey NMT 工具包中的 Active Learning 技术,通过两种基于模型的获取函数 (BM, FTM, ALLCM, 和 ALMSM),研究了英语到印地语的神经机器翻译。本文的结果表明,Active Learning 技术能够使模型更早地达到收敛并提高整个翻译系统的质量,其中 ALLCM 和 ALMSM 两种模型取得了最好的 BLEU 分数。
Dec, 2022
本研究提出了一种神经机器翻译(NMT)模型间的知识转移方法,通过共享动态词汇表来适应新语言,以达到提高翻译性能的目的,并在多种语言方向上进行了实验,结果表明具有良好的性能。
Nov, 2018
本研究探讨了神经机器翻译模型中引入 Translated 和 Untranslated 内容组的方法,并通过一种称为 Guided Dynamic Routing 的新型路由协议来学习它们,使得翻译能够在全局上最优化。实验证明,这种方法比 RNMT 和 Transformer 技术更为先进,能够识别 Translated 和 Untranslated 内容,具有高度的可解释性。
Apr, 2019
本篇论文提出了一种基于局部特征训练的两阶段方法,能够实现大规模预训练神经机器翻译模型的连续学习,以适应新任务,采用这种方法能够在不访问以前的训练数据或引入模型分离的情况下解决之前方法的不足。
Nov, 2022