Jan, 2021

先对齐，再预测：理解多语言BERT的跨语言能力

HTML
PDF
TL;DR使用一种新的层摘除技术和模型内部表示的分析方法，我们发现多语言 BERT 可看作两个子网络的堆叠：一个多语言编码器和一个任务特定的语言无关的预测器。编码器对于跨语言传递非常关键，在微调过程中大部分不变，而任务预测对传递影响很小，可以在微调期间重新初始化。
发现论文，激发创造
  • Multilingual BERT的多语言能力如何？

    研究表明，在零-shot跨语言模型转移方面，多语言BERT（M-BERT）表现出惊人的性能，经过大量探究实验，证明转移甚至可以到不同文字的语言中，但它们会因特定的语言对而表现出系统缺陷。

    Jun, 2019

  • 多语言BERT的跨语言能力：实证研究

    通过在不同语言和不同自定义NLP任务上的实验研究，本文详细研究了M-BERT中不同组建在其跨语言能力中的贡献，发现词汇重叠在跨语言成功中起到微不足道的作用，而网络深度则是成功的一个重要因素。

    Dec, 2019

  • 多语言递归神经网络中的跨语言句法转移理解

    研究了现代神经语言模型的多语言训练中的字面表示空间和纯语法知识的共享，发现暴露我们的LMs与相关语言并不总是增加目标语言的语法知识，并且在语义转移的最佳条件下并不一定是语法转移的最佳条件。

    Mar, 2020

  • 多语言BERT中跨语言能力和语言特异信息的研究

    本研究针对跨语言能力对多语言BERT进行了深入实验研究，发现数据大小和上下文窗口大小是跨语言能力的关键因素，探讨了多语言BERT中的语言特定信息，通过操作潜在表示控制多语言BERT的语言输出，实现了无监督令牌翻译，并提出了一种计算成本低但有效提高多语言BERT跨语言能力的方法。

    Apr, 2020

  • 在语言相似度高的情况下适应单语模型：数据匮乏的问题

    本篇论文重点研究了如何使用尽可能少的数据实现零-shot迁移学习，并探讨了语言相似度在该过程中的影响。研究人员利用两种低语言资源语言重新训练了四个基于BERT的模型的词汇层，同时对模型的源语言进行了独立的POS标记任务的微调。研究结果发现，通过将新的词汇层和微调后的Transformer层相结合，即使在仅有10MB的数据的情况下，也能显著提高两种目标语言任务的性能。值得注意的是，在目标语言被包含在多语言模型中时，单语BERT-based模型在重新训练词汇层后的下游任务表现要高于多语BERT。

    May, 2021

  • 多语言BERT中注意力头的可剪枝性

    通过对mBERT进行修剪，我们 quantifying 它的鲁棒性和逐层理解其重要性，结果表明缩减其注意力容量不会影响其鲁棒性。而在跨语言任务XNLI中，修剪会导致准确性下降，这表明跨语言转移的鲁棒性较低。此外，编码器层的重要性受语言族和预训练语料大小的影响。

    Sep, 2021

  • BERT 多语言模型的时间？分离跨语言传输的关键要素

    该论文在多语言语言模型上进行了大规模实证研究，并发现词嵌入的对齐程度与零-shot迁移的性能密切相关，因此需要在多语言模型中专门改善词嵌入的对齐程度。

    Oct, 2021

  • 多语言语言模型的单/跨语言预训练动态分析

    本研究旨在探究跨语言预训练模型的学习过程，发现该模型在语言内表现出较高的性能，复杂任务在低级语言技能前学习。添加不同的语言对跨语言转移的学习时机不同，并且最终模型层表现存在时间衰减现象，语言知识向网络底层传递。

    May, 2022

  • 多语言编码器如何学习跨语言表示？

    本文主要研究NLP系统中的多语言支持，其中提到Multilingual BERT作为一个可应用于104种语言的替代方案，通过分析Multilingual BERT的行为和跨语言传输与这些模型的优化行为，提供更好的跨语言模型和跨语言传输理解。

    Jul, 2022

  • mOthello: 跨语言表示对齐和跨语言迁移在多语言模型中的出现时机

    预训练的多语言模型在交叉语言迁移方面展现出了能力，本研究旨在探讨学习语言中性表示的因素以及该表示是否足以促进交叉语言迁移。通过引入“锚定标记”，可以帮助跨语言表示对齐，而仅仅学习语言中性表示是不足以促进交叉语言迁移的。基于研究结果，提出一种新的方法 - 统一输出空间的多语言预训练 - 既能够诱导学习语言中性表示，又能促进交叉语言迁移。

    Apr, 2024