Jun, 2020

FinEst BERT 和 CroSloEngual BERT: 在多语言模型中，少即是多

PDF
TL;DR本文介绍训练两个三语 Bert 模型 —— 一种适用于芬兰语、爱沙尼亚语和英语的 FinEst BERT 以及一种适用于克罗地亚语、斯洛文尼亚语和英语的 CroSloEngual BERT，并在多种单语和跨语言情况下使用 BERT 和 XLM-R 作为基线评估它们在多个下游任务上的性能，包括命名实体识别、词性标注和依存句法分析，结果表明这些模型能够提高大多数情况下所有任务的结果。
发现论文，激发创造
  • BERT 用于芬兰语的多语言处理

    本文主要介绍了采用预训练的深度学习语言模型用于自然语言处理的相关研究，特别是新型的 transformer-based BERT 模型。与其他大多采用英语等高资源语言的研究不同，本文侧重于针对冷门语言芬兰语的研究，探索基于多语言模型 Fine-tune 和基于芬兰语数据单独训练的模型的性能比较，实验结果表明后者的表现较好，成为当前芬兰语 POS 标注、NER 和依存分析任务的先进模型。

    Dec, 2019

  • Multilingual BERT 在语言生成方面是否流利？

    本文探讨了多语言 BERT 模型在语言编码、语法特性、语言生成等任务上的表现，发现该模型性能低于单语言模型，在某些情况下无法取代单语言模型，尤其在北欧语言方面表现不足。

    Oct, 2019

  • 西班牙语语言模型评估中得到的经验教训

    本文提供了一份全面的研究报告，比较了用于西班牙语的语言模型，报告显示：先前被忽略的大型跨语言模型比单语模型表现更好，单语模型的结果并不是确定性的，需要进一步研究语料库大小、质量和预训练技术等因素。

    Dec, 2022

  • 多语言 BERT 中的各种语言是否平等？

    本文研究了 Multilingual BERT 在多种语言下的性能表现，特别是在对低资源语言的表示质量方面的评估，结果表明 Monolingual BERT 和 mBERT 相比差距较大，而解决这个问题的关键在于更有效的预训练技术或更多的数据。

    May, 2020

  • 语言无关的 BERT 句子嵌入

    本研究旨在通过探究多种单语和跨语言表示学习方法，如掩码语言建模，翻译语言建模和双编码器翻译排名等，结合预训练的多语言模型来学习多语言句子嵌入，并成功将其用于多语言文本检索和机器翻译任务中。

    Jul, 2020

  • 多语种模型是否是中度资源语言的最佳选择？以加泰罗尼亚语为例的全面评估

    本研究集中关注在 Catalan 语言，通过构建一个中等大小的单语言模型并进行完整的评估，成功地通过多样的任务比较，充分证明了其优越性，从而证实了在数据充足的情况下，单语言特定模型的效果能够超越多语言模型。

    Jul, 2021

  • Beto, Bentz, Becas：BERT 的跨语言效果之惊人

    该研究探讨了 mBERT 作为零 - shot 语言转移模型在跨语言任务上的运用，包括 NLI、文档分类、NER、POS 标注和依赖分析等五个任务。研究发现，mBERT 在每个任务上都具有竞争力，并考察了其使用策略、语言无关特征和影响跨语言传输的因素。

    Apr, 2019

  • BERT 下的跨语言信息检索

    使用 BERT 模型在多语言语料中训练跨语言信息检索模型，实验结果显示该模型在英语查询与立陶宛语文档的信息检索任务中优于其他竞争模型

    Apr, 2020

  • Multilingual BERT 的多语言能力如何？

    研究表明，在零 - shot 跨语言模型转移方面，多语言 BERT（M-BERT）表现出惊人的性能，经过大量探究实验，证明转移甚至可以到不同文字的语言中，但它们会因特定的语言对而表现出系统缺陷。

    Jun, 2019

  • Czert-- 用于语言表达的类波津 (BERT) 捷克模型

    本文介绍了首个基于 BERT 和 ALBERT 架构的捷克语单语言表示模型的训练过程，使用超过 340,000 个句子进行预训练，并在 9 个数据集上超越了多语言模型的表现，同时在九个数据集上取得了新的最优结果。

    Mar, 2021