Sep, 2020

FILTER：跨语言语言理解的增强融合方法

HTML
PDF
TL;DR本文提出了FILTER方法，该方法利用跨语言数据增强XLM微调，通过跨语言融合中间层来提取多语言知识，使用自生成的软伪标签和KL散度自我训练损失来解决任务挑战，显著提高了XTREME和XGLUE两个多语言多任务基准的性能。
发现论文，激发创造
  • 跨语言语言模型预训练

    本文提出了两种跨语言学习模型的方法(XLMs):一种是仅依赖于单语数据的无监督方式， 另一种是利用新的跨语言模型目标并使用平行数据的有监督方式。通过这些方法在跨语言分类、无监督和有监督机器翻译中取得了最先进的结果。

    Jan, 2019

  • 跨语言对齐与联合训练：比较研究和简单统一框架

    本文研究了两种多语言文本学习方法，即alignment和joint training，并提出了将这两种方法结合的框架。实验证明，该框架改善了现有方法的局限性，在MUSE双语词汇诱导（BLI）基准测试中性能优于现有方法，并在CoNLL跨语言NER基准测试上产生了最新的结果。

    Oct, 2019

  • 关于单语表示的跨语言转移性

    新颖的跨语言转移学习方法-从单语言模型到新语言，通过学习一个新的词嵌入矩阵来实现，该方法与现有不需要共享词汇表或联合训练的最先进的无监督多语言模型的跨语言分类基准测试表现相似。

    Oct, 2019

  • 大规模跨语言无监督表示学习

    通过在100种语言上使用超过2TB的CommonCrawl数据对基于Transformer的掩蔽语言模型进行大规模的预训练，该模型命名为XLM-R，显著优于mBERT，在跨语言基准测试中实现了+14.6％和+13％的平均准确性和F1分数，并改善了10个低资源语言的准确性，显示了前景。

    Nov, 2019

  • XTREME: 用于评估跨语言通用化的大规模多语言多任务基准数据集

    该论文介绍了一个名为XTREME的跨语言多任务基准测试，它可以在40种语言和9个任务上评估多语言表示的跨语言泛化能力，研究表明，跨语言模型在句法和句子检索任务上的性能仍有相当大的差距，该基准测试旨在促进跨语言学习方法的研究。

    Mar, 2020

  • 跨语言学习通用表征

    本文介绍了一种基于Hierarchical Contrastive Learning的方法，用于学习句子级别的跨语言表示方法，在XTREME任务和机器翻译任务中实验表明，该方法可以显著提高模型准确性。

    Jul, 2020

  • XLM-K: 利用多语言知识提高跨语言语言模型的预训练

    本文提出了一种名为XLM-K的跨语言语言模型，它将多语言知识融入预训练中并通过两种知识任务对其进行了拓展，结果显示XLM-K在多项任务上表现出更高的优越性。

    Sep, 2021

  • 语言模型与跨语言序列标注之间的桥梁

    本篇论文提出Cross-lingual Language Informative Span Masking (CLISM)和ContrAstive-Consistency Regularization (CACR)两种方法来缩小预先训练和微调阶段之间的差距，并以多语言对齐为目标对跨语言机器阅读理解（xMRC）进行改进。实验结果表明，这些方法在多个xSL基准测试中取得了显著优越的结果，并且在只有几百个训练示例可用的少量数据设置中超过了以前的最新方法。

    Apr, 2022

  • 从多语种句子编码器探究跨语言词汇知识

    本文将多语言预训练模型转化为多语言句子编码器，通过对句子编码器进行探索，采用基于对比学习的简单而高效的方法，揭示了句子编码器隐含的跨语言词汇知识，进而提供了一种利用跨语言词汇的工具。

    Apr, 2022

  • 提升视觉问答中的跨语言泛化能力

    本研究探讨了多语言视觉语言模型在跨语言环境中表现欠佳的情况，并提出了三种策略以提高它们在零-shot跨语言视觉问答任务中的性能。实验证明，该Fine-tuning策略取得了一致的效果。

    Sep, 2022