介绍了一种课程学习方法,将通用的神经机器翻译模型适应于特定领域,实验结果表明,在两个领域和两种语言对中,该方法始终优于基准模型。
May, 2019
介绍了一种 “共同课程学习” 方法,通过动态领域数据选择和动态干净数据选择的组合来进行转移学习,使用 EM 风格的优化过程来进一步优化 “共同课程”。实验结果和两个领域的分析证明了该方法的有效性和由共同课程安排的数据的属性。
Jun, 2019
本文通过两阶段课程训练框架及对六种语言对的全面实验,证明了基于预训练方法和在线评分的确定性评分选择数据子集,对神经机器翻译模型进行微调训练的课程训练策略会显著提高 BLEU 质量(高达 2.2 个 BLEU),并且更快地收敛(更新次数减少了约 50%)。
Mar, 2022
本文提出了一种新的元课程学习方法,通过先学习相似领域的课程以避免早期陷入糟糕的局部最优,然后学习各自的课程以提高模型鲁棒性从而改善低资源神经机器翻译领域自适应问题。实验结果表明,这种方法可以提高熟悉和不熟悉领域的翻译性能。
Mar, 2021
本文提出了一种神经机器翻译方法,通过将文本领域视为不同的语言并使用多语言 NMT 方法创建多领域翻译系统,从而实现在单个模型中支持多个领域,我们的方法在翻译质量上有显著提高。同时探究了预先指定文本领域的必要性,发现预先指定领域是必须的,但即使未知也可以达到相当高的翻译质量。
May, 2018
本文探索了在多领域场景下训练神经机器翻译系统的替代方法,结果表明最佳翻译质量可通过在可用领域数据的串联上构建初始系统并在领域内数据上进行微调来实现。
Aug, 2017
本研究运用强化学习方法,实现神经机器翻译中异质训练数据的有效生成和利用,提出课程学习框架,相比于传统方法,该方法展现出更好的表现和更强的数据泛化能力。
Feb, 2019
本文针对神经机器翻译中如何最佳利用具有多样性质和不同质量级别的数据样本提出了数据选择框架,通过筛选对模型性能有重要影响的样本来改进已经预先训练过的模型。实验表明,所提出的基于确定性演员 - 评论家 (Deterministic Actor-Critic) 的数据选择方法能够在不增加新的训练数据的情况下显著提高翻译质量,并大幅优于其他强基线方法。
Apr, 2020
采用概率课程学习方法,可以在不损失翻译质量的前提下,缩短德语 - 英语翻译模型的收敛时间,但具体效果受到样本难度标准、课程表和超参数的影响。
Nov, 2018
本文讨论了如何在多领域和多语言神经机器翻译 (MDML-NMT) 中跨语言传输领域信息,以提高零样本翻译性能和帮助域缺失的多领域 NMT 的泛化。通过组合多语言和多领域 NMT 及添加编码器目标语言标签等有效策略,实现了学习到有针对性的表示和提高性能的目的。
Oct, 2022