本文介绍训练两个三语 Bert 模型 —— 一种适用于芬兰语、爱沙尼亚语和英语的 FinEst BERT 以及一种适用于克罗地亚语、斯洛文尼亚语和英语的 CroSloEngual BERT，并在多种单语和跨语言情况下使用 BERT 和 XLM-R 作为基线评估它们在多个下游任务上的性能，包括命名实体识别、词性标注和依存句法分析，结果表明这些模型能够提高大多数情况下所有任务的结果。

Jun, 2020

本文介绍了第一项针对波兰语的去构建 BERT 的训练过程的消融研究，其中探讨了跨语言训练和其他因素，最终实现了一个波兰语 BERT 模型 HerBERT，并在多个下游任务中达到了最佳结果。

May, 2021

介绍了罗马尼亚 BERT，这是第一个纯罗马尼亚的基于 Transformer 的语言模型，并介绍了语料库的组成和清理、模型训练过程以及在各种罗马尼亚数据集上的评估。

Sep, 2020

本文介绍了一种从维基百科数据中创建特定语言 BERT 模型的简单完全自动化流程，并引入 42 个新的这种模型，以往缺乏专门深度神经语言模型的语言。我们使用现有的 UDify 解析器对这些模型的优点进行评估，并发现 UDify 使用的 WikiBERT 模型在平均性能方面优于使用 mBERT 的解析器，这些特定语言模型在某些语言方面表现出显著的改进，而在其他语言方面改进有限或性能下降。我们还提供了初步结果作为了解特定语言模型最有益的条件的第一步。

Jun, 2020

本文主要介绍了采用预训练的深度学习语言模型用于自然语言处理的相关研究，特别是新型的 transformer-based BERT 模型。与其他大多采用英语等高资源语言的研究不同，本文侧重于针对冷门语言芬兰语的研究，探索基于多语言模型 Fine-tune 和基于芬兰语数据单独训练的模型的性能比较，实验结果表明后者的表现较好，成为当前芬兰语 POS 标注、NER 和依存分析任务的先进模型。

Dec, 2019

介绍了一种名为 SlovakBERT 的新型斯洛伐克遮蔽语言模型，是第一篇讨论基于 transformers 的斯洛伐克语言模型的论文。评估发现该模型在多项自然语言处理任务中取得了最优结果，并建立了斯洛伐克语言模型的基准。发布了遮蔽语言模型以及针对词性标注、情感分析和语义文本相似性的微调模型。

Sep, 2021

本研究通过利用网络爬虫数据构建法语单语语料库，研究了训练法语单语 Transformer-based 语言模型的可行性，并在词性标注、句法分析、命名实体识别和自然语言推理等任务上取得了准确的结果。

Nov, 2019

本文描述了一个在克罗地亚语、波斯尼亚语、塞尔维亚语和黑山语网络域爬取的 80 亿个令牌的 transformer 模型的预训练，并在词性标注、命名实体识别、地理位置预测和常识因果推理等任务上展示所有任务上的改进。此外，我们引入了 COPA-HR 项目，将可选可行替代品（COPA）数据集翻译成克罗地亚语以进行常识推理评估，并通过 HuggingFace 免费提供 BERTi'c 模型以及进一步的针对特定任务的微调。

Apr, 2021

本文介绍了两个基于流行的 BERT 架构的波兰语语言模型，经过评估，我们的模型在 13 个波兰语语言任务中取得了显著的提高。

Jun, 2020

该研究开发并预训练了 KoreALBERT 模型，实现了针对韩语理解的单语言 ALBERT 模型，采用新的训练目标 - WOP，与现有的 MLM 和 SOP 方法结合，尽管参数较少，但预训练的 KoreALBERT 在 6 项不同的 NLU 任务中表现优异，并提升了韩语多句子编码相关的下游任务表现。

Jan, 2021