Sep, 2020

多语言BERT的跨语言对齐方法: 一项比较研究

HTML
PDF
TL;DR本文分析了不同形式的跨语言监督和各种对齐方法对 Multilingual BERT 在零-shot设置下的转移能力的影响，比较了平行语料库 vs. 字典导向的监督和旋转 vs. 微调对齐方法，针对两个任务（名称实体识别和语义槽填充），我们评估了不同对齐方法在八种语言上的性能，并提出了一种新的规范化方法，该方法不断改进基于旋转的对齐性能，特别是远距离和在语言类型上不同的语言。此外，我们还发现对于任务和转移语言的接近程度，不同的对齐方法存在偏差，平行语料库的监督力度通常优于字典对齐。
发现论文，激发创造
  • Beto, Bentz, Becas：BERT的跨语言效果之惊人

    该研究探讨了mBERT作为零-shot语言转移模型在跨语言任务上的运用，包括NLI、文档分类、NER、POS标注和依赖分析等五个任务。研究发现，mBERT在每个任务上都具有竞争力，并考察了其使用策略、语言无关特征和影响跨语言传输的因素。

    Apr, 2019

  • 多语言BERT有多少语言中性？

    本文讨论了Multilingual BERT (mBERT) 的语义属性，表明mBERT表征可以分为特定语言和语言中立两个部分，语言中立部分可以高准确度地对齐单词和检索句子，但尚不足以评估机器翻译质量。该研究揭示了构建更好的语言中立表征的挑战，特别是对于需要语义语言转移的任务。

    Nov, 2019

  • 多语种上下文词表示的对齐

    提出了一种测量和加强上下文嵌入对齐的程序，证明其在分析和改进多语言BERT方面非常有用。在我们的对齐程序之后，BERT在零-shot任务中表现显著提高。使用上下文版本的Word Retrieval任务，我们发现BERT存在系统性缺陷，在我们的对齐程序下得到了纠正。这些结果支持上下文对齐作为理解大型多语言预训练模型的一个有用概念。

    Feb, 2020

  • 多语言 BERT 中的各种语言是否平等？

    本文研究了Multilingual BERT在多种语言下的性能表现，特别是在对低资源语言的表示质量方面的评估，结果表明Monolingual BERT和mBERT相比差距较大，而解决这个问题的关键在于更有效的预训练技术或更多的数据。

    May, 2020

  • 明确对齐是否能够稳定提高多语言编码器性能？

    本文提出了一种新的对比对齐目标函数，主要应用于OPUS数据集，分析了单语和多语种上的效果，证明此方法优于以前的工作，但整体上，这些方法无法通过更强大的评估框架来提高性能，而更好的基础模型可以获得更好的性能。

    Oct, 2020

  • 多语言BERT模型预训练后对齐

    本研究提出了一种简单的方法，作为预训练后对多语种上下文嵌入进行对齐的步骤，以提高预训练模型的零-shot跨语言迁移能力。该方法通过最近提出的Translation Language Modeling目标在词级别上对嵌入进行对齐，并通过对比学习和随机输入洗牌在句子级别上进行对齐。在下游任务的微调中，使用英语进行句子级别的代码转换。在XNLI上，我们的最佳模型（从mBERT初始化）在零-shot设置上比mBERT提高了4.7％，在使用少于18％的相同平行数据和31％的模型参数的情况下，实现了与XLM for translate-train相当的结果。在MLQA上，我们的模型胜过比我们多57％参数的XLM-R_Base。

    Oct, 2020

  • Syntax-augmented Multilingual BERT 跨语言转移

    本研究表明，通过在辅助目标中提供语言语法和训练mBERT以对通用依赖树结构进行编码，可提高跨语言转移，从而提高了在四项NLP任务中的性能表现。

    Jun, 2021

  • 跨语言调整上下文词表示对零-shot迁移的影响

    本研究使用已训练好的mBERT模型对英语模型进行零样本迁移，并尝试采用小型平行语料库进行跨语言调整以提高性能表现，结果表明跨语言调整对不同语言的自然语言处理任务表现效果显著，且可以提高语义相似词汇的嵌入向量距离。

    Apr, 2022

  • 使用多语言BERT进行零样本跨语言迁移中的特征聚合

    本文探讨了利用mBERT最后一个transformer层以外的信息，采用基于attention机制的特征聚合模块，对不同层次的信息进行融合。实验结果表明，在XNLI、PAWS-X、NER、POS等关键领域任务中，该方法在零-shot Cross-lingual下具有良好的性能提升，并且探讨了mBERT的可解释性。

    May, 2022

  • 融合词汇和句法知识的无监督跨语言迁移

    本文提出了一种名为“Lexicon-Syntax增强多语言BERT”的新框架，该框架结合了词汇和句法知识，并通过多种技术增强其学习能力，在零样本跨语言传递的任务中取得了优异的成绩。

    Apr, 2024