EMNLPApr, 2020

自监督神经机器翻译中的自主课程学习

TL;DR该研究提供了有关 SSNMT 模型在训练期间进行采样选择的深入分析,证明了该模型能够自我选择越来越复杂和相关任务的样本,并执行去噪曲线,以提高提取和翻译性能。其中,相互监督信号的动态对提取和翻译性能至关重要。研究显示,使用 Gunning-Fog 可读性指数时,SSNMT 从适合高中学生的 Wikipedia 数据开始提取和学习,并迅速转向适合大一学生的内容。