Apr, 2020

多语言BERT中跨语言能力和语言特异信息的研究

HTML
PDF
TL;DR本研究针对跨语言能力对多语言BERT进行了深入实验研究，发现数据大小和上下文窗口大小是跨语言能力的关键因素，探讨了多语言BERT中的语言特定信息，通过操作潜在表示控制多语言BERT的语言输出，实现了无监督令牌翻译，并提出了一种计算成本低但有效提高多语言BERT跨语言能力的方法。
发现论文，激发创造
  • Multilingual BERT的多语言能力如何？

    研究表明，在零-shot跨语言模型转移方面，多语言BERT（M-BERT）表现出惊人的性能，经过大量探究实验，证明转移甚至可以到不同文字的语言中，但它们会因特定的语言对而表现出系统缺陷。

    Jun, 2019

  • 零-shot依赖句法分析的跨语言BERT转换

    本文利用公共预训练的BERT模型提出了学习跨语言表征在上下文空间中的新方法——Cross-Lingual BERT Transformation (CLBT)，其中通过线性变换将训练不同语言的上下文化嵌入与上下文词对齐并结合实验证明了该方法可在无需训练就能在跨语言解析的领域中取得优势，其效果明显优于使用静态嵌入的之前的最先进技术，比较证明了本方法与最近被提出的使用大规模平行数据训练的交叉语言模型XLM的竞争力。

    Sep, 2019

  • Multilingual BERT在语言生成方面是否流利？

    本文探讨了多语言 BERT 模型在语言编码、语法特性、语言生成等任务上的表现，发现该模型性能低于单语言模型，在某些情况下无法取代单语言模型，尤其在北欧语言方面表现不足。

    Oct, 2019

  • 多语言BERT的跨语言能力：实证研究

    通过在不同语言和不同自定义NLP任务上的实验研究，本文详细研究了M-BERT中不同组建在其跨语言能力中的贡献，发现词汇重叠在跨语言成功中起到微不足道的作用，而网络深度则是成功的一个重要因素。

    Dec, 2019

  • 为BERT多语能力识别必要元素

    该研究通过实现小型BERT模型的混合合成数据和自然数据训练，试图从语言学和结构特征两个方面，探究多语BERT能实现无监督跨语言转移的原因。其结果表明，在lexical、syntactic以及阅读理解方面，mBERT已实现了高质量的多语言表征和跨语言转移功能。

    May, 2020

  • 先对齐，再预测：理解多语言BERT的跨语言能力

    使用一种新的层摘除技术和模型内部表示的分析方法，我们发现多语言 BERT 可看作两个子网络的堆叠：一个多语言编码器和一个任务特定的语言无关的预测器。编码器对于跨语言传递非常关键，在微调过程中大部分不变，而任务预测对传递影响很小，可以在微调期间重新初始化。

    Jan, 2021

  • 多语言BERT嵌入空间中的各向同性分析

    研究探讨如何解决多语种 BERT 模型在语言表示中的异构性以及异常维度，以提高其表现力和性能，并发现各种语言的嵌入空间在结构上部分类似。

    Oct, 2021

  • 多语言编码器如何学习跨语言表示？

    本文主要研究NLP系统中的多语言支持，其中提到Multilingual BERT作为一个可应用于104种语言的替代方案，通过分析Multilingual BERT的行为和跨语言传输与这些模型的优化行为，提供更好的跨语言模型和跨语言传输理解。

    Jul, 2022

  • 多语言BERT中的跨语言句法差异：好不好及其对迁移的影响？

    该论文研究了多语言BERT（mBERT）对24种不同语言的语法关系的分布，发现该分布与语言形式差异高度一致，提示mBERT以与语言多样性一致的方式正确编码语言，并揭示了跨语言传输机制的内在机理。

    Dec, 2022

  • 融合词汇和句法知识的无监督跨语言迁移

    本文提出了一种名为“Lexicon-Syntax增强多语言BERT”的新框架，该框架结合了词汇和句法知识，并通过多种技术增强其学习能力，在零样本跨语言传递的任务中取得了优异的成绩。

    Apr, 2024