本研究提出一种简单而有效的方法,扩展多语言 BERT (E-BERT),使其可以为任何新语言提供帮助,并在 27 种语言上进行命名实体识别(NER)实验,结果表明我们的方法对已包含在 M-BERT 中的语言平均 F1 值提高了 6%,对新语言提高了 23%的 F1 值。
Apr, 2020
本文讨论了 Multilingual BERT (mBERT) 的语义属性,表明 mBERT 表征可以分为特定语言和语言中立两个部分,语言中立部分可以高准确度地对齐单词和检索句子,但尚不足以评估机器翻译质量。该研究揭示了构建更好的语言中立表征的挑战,特别是对于需要语义语言转移的任务。
Nov, 2019
研究表明,在零 - shot 跨语言模型转移方面,多语言 BERT(M-BERT)表现出惊人的性能,经过大量探究实验,证明转移甚至可以到不同文字的语言中,但它们会因特定的语言对而表现出系统缺陷。
Jun, 2019
该研究探讨了 mBERT 作为零 - shot 语言转移模型在跨语言任务上的运用,包括 NLI、文档分类、NER、POS 标注和依赖分析等五个任务。研究发现,mBERT 在每个任务上都具有竞争力,并考察了其使用策略、语言无关特征和影响跨语言传输的因素。
Apr, 2019
本文探讨了多语言 BERT 模型在语言编码、语法特性、语言生成等任务上的表现,发现该模型性能低于单语言模型,在某些情况下无法取代单语言模型,尤其在北欧语言方面表现不足。
Oct, 2019
通过在不同语言和不同自定义 NLP 任务上的实验研究,本文详细研究了 M-BERT 中不同组建在其跨语言能力中的贡献,发现词汇重叠在跨语言成功中起到微不足道的作用,而网络深度则是成功的一个重要因素。
Dec, 2019
本研究探讨了两种技术,以在低资源设置中训练单语言 TLM,结果表明 MicroBERT 模型能够对下游任务评估进行显著改善。
Dec, 2022
多语言语言模型的综合评估:mBERT、XLM-R 和 GPT-3 在具有不同语言环境的各种语言上的性能评估,发现资源可用性对模型性能有重要影响,并且资源可用性、语言家族和脚本类型之间存在复杂关系,为模型选择和部署提供了见解。
Oct, 2023
本文介绍训练两个三语 Bert 模型 —— 一种适用于芬兰语、爱沙尼亚语和英语的 FinEst BERT 以及一种适用于克罗地亚语、斯洛文尼亚语和英语的 CroSloEngual BERT,并在多种单语和跨语言情况下使用 BERT 和 XLM-R 作为基线评估它们在多个下游任务上的性能,包括命名实体识别、词性标注和依存句法分析,结果表明这些模型能够提高大多数情况下所有任务的结果。
Jun, 2020
本研究旨在通过探究多种单语和跨语言表示学习方法,如掩码语言建模,翻译语言建模和双编码器翻译排名等,结合预训练的多语言模型来学习多语言句子嵌入,并成功将其用于多语言文本检索和机器翻译任务中。
Jul, 2020