Sep, 2023

Epi-Curriculum: 短期课程学习低资源领域调适在神经网络机器翻译中

PDF
TL;DR神经机器翻译模型在新领域上的性能仍然较差，本研究提出了一种名为 Epi-Curriculum 的新方法来解决低资源域适应问题，该方法结合了新的经验教学框架和去噪课程学习，通过使编码器 / 解码器与经验不足的解码器 / 编码器进行经验性训练，增强了模型对领域转移的鲁棒性，去噪课程学习则通过逐渐引导学习过程从简单到更困难的任务，进一步提高了模型的适应性。实验结果表明 Epi-Curriculum 提高了模型在可见和不可见领域的鲁棒性和适应性，我们的经验性训练框架增强了编码器和解码器对领域转移的鲁棒性。
neural machine translationlow-resource domain adaptationepi-curriculumepisodic training frameworkdenoised curriculum learning
发现论文，激发创造
  • 神经机器翻译中领域自适应的课程学习

    介绍了一种课程学习方法，将通用的神经机器翻译模型适应于特定领域，实验结果表明，在两个领域和两种语言对中，该方法始终优于基准模型。

    May, 2019

  • 神经机器翻译领域适应的元课程学习

    本文提出了一种新的元课程学习方法，通过先学习相似领域的课程以避免早期陷入糟糕的局部最优，然后学习各自的课程以提高模型鲁棒性从而改善低资源神经机器翻译领域自适应问题。实验结果表明，这种方法可以提高熟悉和不熟悉领域的翻译性能。

    Mar, 2021

  • 神经机器翻译中课程学习的实证探索

    采用概率课程学习方法，可以在不损失翻译质量的前提下，缩短德语 - 英语翻译模型的收敛时间，但具体效果受到样本难度标准、课程表和超参数的影响。

    Nov, 2018

  • 神经机器翻译多域课程学习

    本研究利用实例级域相关特征和自动构建培训计划的方式，同时为多领域进行数据选择；经过大规模实验，证明多领域计划能达到或超过单独培训的性能，并带来实质收益。

    Aug, 2019

  • 神经机器翻译数据选择课程

    本文通过两阶段课程训练框架及对六种语言对的全面实验，证明了基于预训练方法和在线评分的确定性评分选择数据子集，对神经机器翻译模型进行微调训练的课程训练策略会显著提高 BLEU 质量（高达 2.2 个 BLEU），并且更快地收敛（更新次数减少了约 50%）。

    Mar, 2022

  • 预训练神经机器翻译模型的强化课程学习

    本文针对神经机器翻译中如何最佳利用具有多样性质和不同质量级别的数据样本提出了数据选择框架，通过筛选对模型性能有重要影响的样本来改进已经预先训练过的模型。实验表明，所提出的基于确定性演员 - 评论家 (Deterministic Actor-Critic) 的数据选择方法能够在不增加新的训练数据的情况下显著提高翻译质量，并大幅优于其他强基线方法。

    Apr, 2020

  • 基于强化学习的神经机器翻译课程优化

    本研究运用强化学习方法，实现神经机器翻译中异质训练数据的有效生成和利用，提出课程学习框架，相比于传统方法，该方法展现出更好的表现和更强的数据泛化能力。

    Feb, 2019

  • 跨时序课程设计用于 Transformer 代理

    我们提出了一种新的算法，跨迭代课程（CEC），以提高 Transformer 智能体的学习效率和泛化能力。CEC 的核心是将跨迭代经验放入 Transformer 的上下文中，形成课程的基础。通过顺序地构建在线学习试验和混合质量演示，CEC 构建了涵盖了跨迭代学习进展和熟练度提升的课程。此种协同与 Transformer 模型强大的模式识别能力相结合，提供了强大的跨迭代注意机制。CEC 的有效性在两个典型场景下得到了证明：一个涉及离散控制的多任务强化学习，例如在 DeepMind Lab 中，课程捕捉了个体和逐渐复杂环境中的学习进展；另一个涉及连续控制的混合质量数据的模仿学习，例如在 RoboMimic 中，课程捕捉了演示者专业技能的提高。在所有情况下，CEC 生成的策略表现出优秀的性能和强大的泛化能力。该代码已在此网址开源，以促进对 Transformer 智能体学习的研究。

    Oct, 2023

  • 基于能力的神经机器翻译课程学习

    本文提出了一种基于课程学习的神经机器翻译框架，通过对训练样本进行过滤，提高模型训练效率和性能。该方法不仅可以减少训练时间和需要调整的超参数数量，还可以防止模型陷入局部最优解，从而获得更好的性能表现。实验结果表明，该方法可以在保证翻译质量的同时减少训练时间达 70%。

    Mar, 2019

  • 低资源神经机器翻译的动态课程学习

    本研究提出一种动态课程学习方法，通过衡量模型的收益和能力来调整训练样本的顺序，从而使训练低资源神经机器翻译模型更加高效。在 Transformer-based 系统上的实验结果表明，该方法优于几个强基线，并适用于不同大小的 low-resource 机器翻译基准。

    Nov, 2020