EMNLPSep, 2021

基于能力的课程学习法在多语言机器翻译中的应用

PDF
TL;DR本文提出了一种基于能力的课程学习算法 CCL-M，通过均衡不同语言的学习能力，从而达到在多语言机器翻译中提高低资源语言翻译效果的目的，并且运用该算法在动态平衡采样的基础上，对深度学习的训练集积极剔除并添加。最终在 TED talks 数据集上的实验结果表明，与之前最先进的方法相比，本文方法能够取得平稳显著的性能提升。
发现论文，激发创造
  • 跨语言终身学习

    论文介绍了跨语言寿命学习（CLL）挑战，其中模型不断进行微调以适应来自不同语言的新数据，分析了不同跨语言持续学习算法的知识保留，累积和泛化能力，并提供了如何测量和平衡不同跨语言持续学习渴求的菜谱。

    May, 2022

  • 低资源神经机器翻译的动态课程学习

    本研究提出一种动态课程学习方法，通过衡量模型的收益和能力来调整训练样本的顺序，从而使训练低资源神经机器翻译模型更加高效。在 Transformer-based 系统上的实验结果表明，该方法优于几个强基线，并适用于不同大小的 low-resource 机器翻译基准。

    Nov, 2020

  • 多源跨语言模型迁移：学习共享的内容

    利用生成对抗网络和无监督多语言嵌入，结合多源语言训练数据的多语言转移学习方法，在多语言文本分类和序列标记任务中实现 target 语言的显著性能提升。

    Oct, 2018

  • 跨语言对齐的多层对比学习

    本文提出了一种多级对比学习（ML-CTL）框架，使用翻译后的平行数据并显式地整合每对平行句子的单词级信息进行对比学习，以进一步提高预训练模型的跨语言能力。其中，采用了交叉零噪声对比估计（CZ-NCE）损失来减轻训练过程中小批量大小的浮点误差的影响。该方法显著提高了基础模型（mBERT）的跨语言迁移能力，并在 Xtreme 基准测试的多个零 - shot 跨语言下游任务中表现优异。

    Feb, 2022

  • 基于能力的神经机器翻译课程学习

    本文提出了一种基于课程学习的神经机器翻译框架，通过对训练样本进行过滤，提高模型训练效率和性能。该方法不仅可以减少训练时间和需要调整的超参数数量，还可以防止模型陷入局部最优解，从而获得更好的性能表现。实验结果表明，该方法可以在保证翻译质量的同时减少训练时间达 70%。

    Mar, 2019

  • 利用大语言模型学习低资源语言的翻译质量评估

    使用大型语言模型，无需人工注释，将合成数据集混合到现有数据集中，可以提高低资源语言的 BLEURT 模型性能。

    Feb, 2023

  • 多语言场景文字识别中的跨语言学习

    我们研究多语种场景文本识别的跨语言学习，并发现重要的条件是高资源语言的数据集大小，无论高资源语言的种类如何。

    Dec, 2023

  • HLT-MT: 高资源的针对语言的多语言神经机器翻译训练

    本文提出了一种具有高资源语言特定训练（HLT-MT）的多语言翻译模型，通过采用语言特定模块选择机制，在多语言模型仅与高资源语言训练对进行第一阶段训练，然后在所有可用语料库上进一步训练，从高资源语言向低资源语言转移知识，从而缓解多语言训练中的负面干扰。实验结果表明 HLT-MT 在 WMT-10 和 OPUS-100 基准上优于各种强基线，分析实验证实了我们的方法在缓解多语言训练中的负面干扰方面的有效性。

    Jul, 2022

  • 课程学习的培训动态：单语和跨语言 NLU 的研究

    本研究利用训练动态作为难度指标，对现有的课程学习调度程序进行修改，并在多个自然语言理解任务中展示出通过训练动态的课程学习可以在零 - shot 跨语言传输和 out-of-distribution（OOD）场景下获得更好的性能，提高至多 8.5%。同时，该方法相较于其他难度度量方法更能平滑训练，并且平均速度提高了 20%。

    Oct, 2022

  • 在 CLIP 中通过持续语言学习拥抱语言包容性和多样性

    通过连续语言学习 (CL) 扩展视觉 - 语言预训练模型 (VL-PTMs) 的语言能力，并提出了 CLL-CLIP 模型，其通过仅训练标记嵌入来改善内存稳定性，并通过跨模态和跨语言目标进行优化以学习图像和多语种文本之间的对齐关系，实验证明该方法在多语言图像 - 文本检索性能上具有有效性。

    Jan, 2024