Oct, 2023

ZGUL：使用多源适配器的零样本泛化到未见过的语言

PDF
TL;DR通过使用语言适配器（LAs）解决 NLP 任务中的零射击跨语言转移问题，并结合多个源语言的语言适配器进行训练和测试，展示了在 POS 标注和 NER 任务上相对标准微调和其他强基线模型平均 F1 分数提高了 3.2 个点的改进。
zero-shot cross-lingual transferlanguage adaptersunlabeled datamultilingual language modelneural architecture
发现论文，激发创造
  • 跨语言 NLU 中的语言适配器的影响

    在不存在语言的监督数据的情况下，本文研究了语言适配器在自然语言理解任务中零样本跨语言转移中的作用，通过对两个多语言模型和三个多语言数据集的详尽消融研究，结果表明目标语言适配器在任务、语言和模型间影响高度不一致。相比之下，保留源语言适配器通常能够获得相当甚至更好的性能，训练后去除语言适配器只有较弱的负面影响，表明语言适配器对于预测结果的影响并不显著。

    Jan, 2024

  • 可转移潜变量的零 - shot 跨语言对话系统

    本文针对零资源的多语言任务导向对话系统进行零样本自适应的提出，使用极少量的平行语词来优化对齐的跨语言词级表示，并采用潜变量模型处理不同语言间类似句子的变化，实验表明，我们的模型在零样本情况下对自然语言理解任务的适应性优于当前最先进的模型。

    Nov, 2019

  • AmericasNLI: 评估真正低资源语言中预训练多语种模型的零样本自然语言理解

    探索是否可以在未见过的语言上进行高级语义任务的零 - shot 学习。通过 AmericasNLI，测试了零 - shot 和翻译法等多种方法，结果发现 XLM-R 的零 - shot 表现很差，但通过持续预训练和对假设模型的考虑，有所提高。意外的是，用翻译不好的数据训练的表现最好。

    Apr, 2021

  • UXLA：零资源跨语言自然语言处理的强大无监督数据增强框架

    提出了 UXLA，一种新的无监督数据增强框架，用于零资源转移学习场景中的跨语言适应问题。UXLA 在三个不同的零资源跨语言转移任务上取得了 SOTA 结果，胜过基准线很多。

    Apr, 2020

  • 从零到英雄：多语言 Transformer 的零 - shot 跨语言转移限制

    分析了 massively multilingual transformers 在零射击跨语言场景中的局限性，并表明在资源匮乏和对比较遥远语言的情况下通过多语言转换的跨语言转移实际上不太有效。通过几个低级和高级自然语言处理任务的实验，确立了源语言和目标语言之间的语言相似度以及目标语言的预训练语料库的大小与转移性能之间的相关性。另外，研究表明通过在源语言上调整细节，再在目标语言上进行少量微调的 few-shot transfer 在多语言转换中十分有效。

    May, 2020

  • 提升视觉问答中的跨语言泛化能力

    本研究探讨了多语言视觉语言模型在跨语言环境中表现欠佳的情况，并提出了三种策略以提高它们在零 - shot 跨语言视觉问答任务中的性能。实验证明，该 Fine-tuning 策略取得了一致的效果。

    Sep, 2022

  • 分析监督式 NLP 任务中的零样本跨语言迁移

    本文论述了跨语言零 - shot 迁移的问题，并通过对 XLM-RoBERTa 进行实验，研究机器阅读理解、情感分析和句子嵌入对跨语言迁移的影响。发现跨语言迁移在语义文本相似度检验（STS）中表现最强，情感分析次之，机器阅读理解中表现最弱。

    Jan, 2021

  • 零资源环境中跨语言序列标注的模型和数据传递

    本文通过实验证明使用高容量多语言语言模型应用于零样本（基于模型的跨语言转移）情况下能够比基于数据转移更好地执行跨语言序列标注，这可能是由于语言使用的重要差异所致。

    Oct, 2022

  • 元学习实现零样本跨语言迁移

    研究多语言应用中，如何应用元学习来提高模型性能，通过实验表明在标准的监督学习、零样本学习和少样本学习的跨语言自然语言理解任务中，元学习对于 15 种语言始终有效。

    Mar, 2020

  • 通过带不确定性估计的自我学习提升跨语言迁移

    提出了一种基于自学习的框架，结合目标语言的未标记数据和不确定性评估方法，使用三种不同的不确定性评估方法对跨语种传递的具体情况进行了分析， 并在包括 40 种语言的两个跨语种任务中评估了该框架，其中包括命名实体识别和自然语言推理，并在 NER 和 NLI 方面的平均性能分别超过了 10 F1 和 2.5 准确度得分的基线模型。

    Sep, 2021