ACLApr, 2021

MetaXL: 低资源跨语言学习的元表示转换

PDF
TL;DR本文提出了 MetaXL，一个基于元学习的框架，通过从辅助语言到目标语言转换表示学习将它们的表示空间变得更加紧密，为极低资源语言提供了有效的转移解决方案。实际应用的实验结果表明 MetaXL 的有效性。
multilingual pre-trained representationscross-lingual transfer learninglow-resource languagesmetaxlmeta-learning
发现论文，激发创造
  • MetaXLR: 基于多臂赌博机的低资源跨语言学习的混合语言元表示转换

    本研究针对极低资源语言的转移学习提出了多源语言和样本选择策略的增强方法，实现了在使用相同数量数据的情况下 NER 任务的最新成果。

    May, 2023

  • 低资源神经机器翻译元学习

    本文利用元学习算法 (MAML) 扩展低资源 NMT 问题，并通过多语言高资源任务进行学习来适应低资源语言，并利用全局词汇表解决不同语言的输入输出错配， 在使用 18 种欧洲语言作为源任务和 5 种不同的语言作为目标任务的情况下，相对于基于多语言、迁移学习的方法，表明所提出的方法显著优于现有方法，并仅需少量训练示例即可获得具有竞争力的 NMT 系统。

    Aug, 2018

  • Meta-X_{NLG}: 一种基于语言聚类的元学习方法，用于零样本跨语言传输和生成

    本文提出了一种基于元学习和语言聚类的元学习框架（Meta-X$_{NLG}$），从不同的语言中学习可共享的结构，以实现对未知语言的统一跨语种转移。在两个自动生成任务（提取型文本摘要和问题生成）以及 30 种类型各异的语言和 5 个广泛使用的数据集上，该框架展示了相对于强基线的一致的改进效果，并且该模型的细致设计使得该端到端自动化生成设置不太容易受到意外翻译问题的影响，这在零 - shot 跨语种自然语言生成任务中是一个突出的问题。

    Mar, 2022

  • 多语言原型模型在自然语言理解任务中的跨语言可迁移性研究

    本文提出一种方案，使用几个样本训练的神经网络和多语言 Transformer 基础模型之间协同作用的跨语言转移，以改进跨语言学习的性能，实验结果表明，我们的方法能够显著提高跨低资源语言与高资源语言之间的转移学习性能，进一步的结果证明了 meta-learning 的能力。

    Jul, 2022

  • 有效多任务和多语言建模的元学习

    通过元学习方法，将任务和语言相互作用的表征共享，可提高自然语言处理任务和多语种任务性能。

    Jan, 2021

  • 大规模跨语言无监督表示学习

    通过在 100 种语言上使用超过 2TB 的 CommonCrawl 数据对基于 Transformer 的掩蔽语言模型进行大规模的预训练，该模型命名为 XLM-R，显著优于 mBERT，在跨语言基准测试中实现了 + 14.6％和 + 13％的平均准确性和 F1 分数，并改善了 10 个低资源语言的准确性，显示了前景。

    Nov, 2019

  • X-METRA-ADA: 跨语言元迁移学习自然语言理解和问答

    该研究提出了一种名为 X-METRA-ADA 的交叉语言 MEta-TRAnsfer 学习 ADAptation 方法，其采用元学习技术来增强自然语言理解（NLU）领域中的跨语言转化，并通过两个跨语言 NLU 任务的大量实验证明了该方法性能优于朴素微调方法，该方法能够利用有限数据进行更快的适应。

    Apr, 2021

  • 基于元学习的依存句法快速跨语言适配

    应用元学习技术，使用模型无关的元学习 (MAML) 在不同的语言上进行训练，实现快速适应新语言，有效提高了在少量数据集下，处理跨语言 NLP 问题时的效果。

    Apr, 2021

  • 元学习实现零样本跨语言迁移

    研究多语言应用中，如何应用元学习来提高模型性能，通过实验表明在标准的监督学习、零样本学习和少样本学习的跨语言自然语言理解任务中，元学习对于 15 种语言始终有效。

    Mar, 2020

  • 基于元学习技术的极少资源跨语言命名实体识别增强模型

    本文提出了一种元学习方法，通过细调源语言模型，结合相似示例中所传达的结构和语义信息来增强目标语言的命名实体识别。在五种目标语言上的实验表明，该方法显著优于现有的最先进方法。

    Nov, 2019