COLINGNov, 2020

低资源神经机器翻译的动态课程学习

PDF
TL;DR本研究提出一种动态课程学习方法，通过衡量模型的收益和能力来调整训练样本的顺序，从而使训练低资源神经机器翻译模型更加高效。在 Transformer-based 系统上的实验结果表明，该方法优于几个强基线，并适用于不同大小的 low-resource 机器翻译基准。
发现论文，激发创造
  • 预训练神经机器翻译模型的强化课程学习

    本文针对神经机器翻译中如何最佳利用具有多样性质和不同质量级别的数据样本提出了数据选择框架，通过筛选对模型性能有重要影响的样本来改进已经预先训练过的模型。实验表明，所提出的基于确定性演员 - 评论家 (Deterministic Actor-Critic) 的数据选择方法能够在不增加新的训练数据的情况下显著提高翻译质量，并大幅优于其他强基线方法。

    Apr, 2020

  • 神经机器翻译数据选择课程

    本文通过两阶段课程训练框架及对六种语言对的全面实验，证明了基于预训练方法和在线评分的确定性评分选择数据子集，对神经机器翻译模型进行微调训练的课程训练策略会显著提高 BLEU 质量（高达 2.2 个 BLEU），并且更快地收敛（更新次数减少了约 50%）。

    Mar, 2022

  • 课程学习的培训动态：单语和跨语言 NLU 的研究

    本研究利用训练动态作为难度指标，对现有的课程学习调度程序进行修改，并在多个自然语言理解任务中展示出通过训练动态的课程学习可以在零 - shot 跨语言传输和 out-of-distribution（OOD）场景下获得更好的性能，提高至多 8.5%。同时，该方法相较于其他难度度量方法更能平滑训练，并且平均速度提高了 20%。

    Oct, 2022

  • 基于能力的神经机器翻译课程学习

    本文提出了一种基于课程学习的神经机器翻译框架，通过对训练样本进行过滤，提高模型训练效率和性能。该方法不仅可以减少训练时间和需要调整的超参数数量，还可以防止模型陷入局部最优解，从而获得更好的性能表现。实验结果表明，该方法可以在保证翻译质量的同时减少训练时间达 70%。

    Mar, 2019

  • 神经机器翻译中课程学习的实证探索

    采用概率课程学习方法，可以在不损失翻译质量的前提下，缩短德语 - 英语翻译模型的收敛时间，但具体效果受到样本难度标准、课程表和超参数的影响。

    Nov, 2018

  • 基于强化学习的神经机器翻译课程优化

    本研究运用强化学习方法，实现神经机器翻译中异质训练数据的有效生成和利用，提出课程学习框架，相比于传统方法，该方法展现出更好的表现和更强的数据泛化能力。

    Feb, 2019

  • 采用动态课程学习提高不平衡文本分类

    本文提出了一种新颖的自适应自我学习曲线方法，并使用两种不同的标准来评估样本的难度，通过从简单到困难的自适应速度重新排序和重采样训练数据。在多个分类任务上进行了广泛实验，证明了 SPDCL 的有效性，尤其是对于不平衡的数据集。

    Oct, 2022

  • 神经机器翻译的动态数据选择

    本研究探讨了数据选择技术在神经机器翻译方面的应用，介绍了一种逐步微调的动态数据选择方法，并展示了该方法在数据选择方面的领先优势。

    Aug, 2017

  • 神经机器翻译学习动态的理解

    该研究旨在通过使用最新提出的技术 LCA 了解 NMT 的学习动态，提出了一种在 NMT 场景中实现 LCA 的近似方法，模拟实验证明此方法是有效的并能够在两个标准的翻译基准数据集上提供有价值的发现。

    Apr, 2020

  • 不平衡数据分类的动态课程学习

    该研究提出了一种名为动态课程学习（DCL）的统一框架，可在线自适应地调整采样策略和损失学习，从而提高计算机视觉中人类属性分析任务的表现，实验结果显示 DCL 在面部属性数据集 CelebA 和行人属性数据集 RAP 上得到了新的最优性能。

    Jan, 2019