AmericasNLI: 评估真正低资源语言中预训练多语种模型的零样本自然语言理解

ACLApr, 2021

AmericasNLI: 评估真正低资源语言中预训练多语种模型的零样本自然语言理解

AmericasNLI: Evaluating Zero-shot Natural Language Understanding of Pretrained Multilingual Models in Truly Low-resource Languages

PDF

Abteen Ebrahimi, Manuel Mager, Arturo Oncevay, Vishrav Chaudhary, Luis Chiruzzo...

TL;DR探索是否可以在未见过的语言上进行高级语义任务的零 - shot 学习。通过 AmericasNLI，测试了零 - shot 和翻译法等多种方法，结果发现 XLM-R 的零 - shot 表现很差，但通过持续预训练和对假设模型的考虑，有所提高。意外的是，用翻译不好的数据训练的表现最好。

Abstract

pretrained multilingual models are able to perform cross-lingual transfer in a zero-shot setting, even for languages unseen during pretraining. However, prior work evaluating performance on unseen languages has largely been limited to low-level, syntactic tasks, and it remains unclear

pretrained multilingual models zero-shot learning high-level semantic tasks indigenous languages xlm-r

发现论文，激发创造

从零到英雄：多语言 Transformer 的零 - shot 跨语言转移限制

分析了 massively multilingual transformers 在零射击跨语言场景中的局限性，并表明在资源匮乏和对比较遥远语言的情况下通过多语言转换的跨语言转移实际上不太有效。通过几个低级和高级自然语言处理任务的实验，确立了源语言和目标语言之间的语言相似度以及目标语言的预训练语料库的大小与转移性能之间的相关性。另外，研究表明通过在源语言上调整细节，再在目标语言上进行少量微调的 few-shot transfer 在多语言转换中十分有效。

May, 2020

低资源语言中使用多语情感词典的零样本情感分析

通过使用多语种词典进行预训练，本文在低资源语言中增强了多语种语言模型的功能，在 34 种语言中进行了零样本情感分析任务，包括 6 种高 / 中资源语言，25 种低资源语言和 3 个代码混合数据集。结果显示，使用多语种词典进行预训练能够实现更好的零样本性能，而不使用句级情感数据，相比于基于英文情感数据集和大语言模型如 GPT-3.5，BLOOMZ 和 XGLM 的微调模型。这些发现适用于涉及高资源语言的未知低资源语言到代码混合场景。

Feb, 2024

分析监督式 NLP 任务中的零样本跨语言迁移

本文论述了跨语言零 - shot 迁移的问题，并通过对 XLM-RoBERTa 进行实验，研究机器阅读理解、情感分析和句子嵌入对跨语言迁移的影响。发现跨语言迁移在语义文本相似度检验（STS）中表现最强，情感分析次之，机器阅读理解中表现最弱。

Jan, 2021

跨语言语言模型预训练

本文提出了两种跨语言学习模型的方法 (XLMs): 一种是仅依赖于单语数据的无监督方式，另一种是利用新的跨语言模型目标并使用平行数据的有监督方式。通过这些方法在跨语言分类、无监督和有监督机器翻译中取得了最先进的结果。

Jan, 2019

评估跨语言句子表示的 XNLI

本文提出了 XNLI 数据集用于跨语言句子理解的评估，并研究了多语言句子理解的基准和挑战。

Sep, 2018

多任务学习用于多语言模型零 - shot 性能预测

本研究通过建模探索基于 Transformer 的多语言语言模型在零样本跨语言转移上的性能预测，并将其视为多任务学习问题，从而建立准确的预测模型。我们的方法还同时进行了特征选择，识别出对多个任务的零样本表现具有影响的共同特征。

May, 2022

探究多语言预训练语言模型的迁移学习 —— 以中文自然语言推理为例

研究多语言 transformers 在英文和中文自然语言推断方面的跨语言转移能力，并基于 17 个中文挑战任务对其性能进行测试。研究发现，跨语言模型在训练时使用英语和高质量的单语 NLI 数据（OCNLI）通常表现最好，而自动翻译资源则会影响其性能。

Jun, 2021

XNLI 2.0：改进 XNLI 数据集和跨语言理解（XLU）性能

本篇研究通过重新翻译 14 种不同语言的 MNLI 数据集，包括 XNLI 测试和开发集，以改进原始 XNLI 数据集，并通过在 15 种不同语言中训练模型并分析其在自然语言推断任务上的表现来实现跨语言理解和自然语言处理，同时通过在英语以外的语言中训练模型来探索在资源匮乏的语言（如斯瓦希里和乌尔都语）中提高性能的可能性。

Jan, 2023

多语言语言表示模型跨语言转移学习实现零样本阅读理解

本文系统性地探讨了在多语料库上预训练语言表示模型的情况下，零 - shot 跨语言转移学习在阅读理解任务中的应用，并通过实验结果表明，使用预训练的语言表示模型可以实现零 - shot 学习，无需将源语言数据转换为目标语言，因为这样做甚至会降低模型的性能。研究还进一步探讨了模型在零 - shot 情况下的学习效果。

Sep, 2019

大规模跨语言无监督表示学习

通过在 100 种语言上使用超过 2TB 的 CommonCrawl 数据对基于 Transformer 的掩蔽语言模型进行大规模的预训练，该模型命名为 XLM-R，显著优于 mBERT，在跨语言基准测试中实现了 + 14.6％和 + 13％的平均准确性和 F1 分数，并改善了 10 个低资源语言的准确性，显示了前景。

Nov, 2019