X-METRA-ADA: 跨语言元迁移学习自然语言理解和问答

ACLApr, 2021

X-METRA-ADA: 跨语言元迁移学习自然语言理解和问答

X-METRA-ADA: Cross-lingual Meta-Transfer Learning Adaptation to Natural Language Understanding and Question Answering

Meryem M'hamdi, Doo Soon Kim, Franck Dernoncourt, Trung Bui, Xiang Ren...

TL;DR该研究提出了一种名为 X-METRA-ADA 的交叉语言 MEta-TRAnsfer 学习 ADAptation 方法，其采用元学习技术来增强自然语言理解（NLU）领域中的跨语言转化，并通过两个跨语言 NLU 任务的大量实验证明了该方法性能优于朴素微调方法，该方法能够利用有限数据进行更快的适应。

Abstract

multilingual models, such as M-BERT and XLM-R, have gained increasing popularity, due to their zero-shot cross-lingual transfer learning capabilities. However, their generalization ability is still inconsistent f

multilingual models meta-learning cross-lingual transfer natural language understanding low-resource scenarios

发现论文，激发创造

MAD-X：一种基于适配器的多任务跨语言迁移框架

本文提出 MAD-X 适配器框架，通过学习模块化的语言和任务表示来实现对任意任务和语言的高移植性和参数有效的转移。在命名实体识别和因果常识推理中定型后，MAD-X 在跨类型多样的语言跨语言转移方面优于最新技术水平，并在问答方面取得具有竞争力的结果。

Apr, 2020

低资源神经机器翻译元学习

本文利用元学习算法 (MAML) 扩展低资源 NMT 问题，并通过多语言高资源任务进行学习来适应低资源语言，并利用全局词汇表解决不同语言的输入输出错配，在使用 18 种欧洲语言作为源任务和 5 种不同的语言作为目标任务的情况下，相对于基于多语言、迁移学习的方法，表明所提出的方法显著优于现有方法，并仅需少量训练示例即可获得具有竞争力的 NMT 系统。

Aug, 2018

AdaMergeX: 透过自适应适配器合并实现大型语言模型的跨语言迁移

我们提出了一种新的跨语言转移方法 $\texttt {AdaMergeX}$，利用自适应适配器合并，在引入参考任务的基础上，结合其他三个适配器可以获得目标适配器，实验证明该方法在各种设置下都能提供新的有效的跨语言转移，优于现有方法。

Feb, 2024

MetaXLR: 基于多臂赌博机的低资源跨语言学习的混合语言元表示转换

本研究针对极低资源语言的转移学习提出了多源语言和样本选择策略的增强方法，实现了在使用相同数量数据的情况下 NER 任务的最新成果。

May, 2023

多语言原型模型在自然语言理解任务中的跨语言可迁移性研究

本文提出一种方案，使用几个样本训练的神经网络和多语言 Transformer 基础模型之间协同作用的跨语言转移，以改进跨语言学习的性能，实验结果表明，我们的方法能够显著提高跨低资源语言与高资源语言之间的转移学习性能，进一步的结果证明了 meta-learning 的能力。

Jul, 2022

基于元学习的依存句法快速跨语言适配

应用元学习技术，使用模型无关的元学习 (MAML) 在不同的语言上进行训练，实现快速适应新语言，有效提高了在少量数据集下，处理跨语言 NLP 问题时的效果。

Apr, 2021

MetaXL: 低资源跨语言学习的元表示转换

本文提出了 MetaXL，一个基于元学习的框架，通过从辅助语言到目标语言转换表示学习将它们的表示空间变得更加紧密，为极低资源语言提供了有效的转移解决方案。实际应用的实验结果表明 MetaXL 的有效性。

Apr, 2021

XLDA：基于跨语言数据增强的自然语言推断与问答

介绍了一种名为 XLDA 的跨语言数据增强方法，该方法通过替换输入文本中的部分内容为另一种语言的翻译来改善跨语言自然语言推理任务的性能，在 14 种语言的测试中均获得了提升，并在希腊语、土耳其语和乌尔都语方面取得了最好的性能，且远优于其他方法。

May, 2019

Meta-X_{NLG}: 一种基于语言聚类的元学习方法，用于零样本跨语言传输和生成

本文提出了一种基于元学习和语言聚类的元学习框架（Meta-X$_{NLG}$），从不同的语言中学习可共享的结构，以实现对未知语言的统一跨语种转移。在两个自动生成任务（提取型文本摘要和问题生成）以及 30 种类型各异的语言和 5 个广泛使用的数据集上，该框架展示了相对于强基线的一致的改进效果，并且该模型的细致设计使得该端到端自动化生成设置不太容易受到意外翻译问题的影响，这在零 - shot 跨语种自然语言生成任务中是一个突出的问题。

Mar, 2022

元学习实现零样本跨语言迁移

研究多语言应用中，如何应用元学习来提高模型性能，通过实验表明在标准的监督学习、零样本学习和少样本学习的跨语言自然语言理解任务中，元学习对于 15 种语言始终有效。

Mar, 2020