SwissBERT 是一个针对处理与瑞士有关的文本而创建的掩模语言模型，它是一个预训练模型，适用于瑞士的德语、法语、意大利语和罗曼什语的新闻文章，该模型使用语言适配器，在处理当代新闻和 / 或罗曼什・格里施人时，往往可以比以前的模型更好地完成与瑞士有关的自然语言理解任务，模型和开源代码在公共网址上发布。

Mar, 2023

本文介绍了首个基于 BERT 和 ALBERT 架构的捷克语单语言表示模型的训练过程，使用超过 340,000 个句子进行预训练，并在 9 个数据集上超越了多语言模型的表现，同时在九个数据集上取得了新的最优结果。

Mar, 2021

本文描述了一个在克罗地亚语、波斯尼亚语、塞尔维亚语和黑山语网络域爬取的 80 亿个令牌的 transformer 模型的预训练，并在词性标注、命名实体识别、地理位置预测和常识因果推理等任务上展示所有任务上的改进。此外，我们引入了 COPA-HR 项目，将可选可行替代品（COPA）数据集翻译成克罗地亚语以进行常识推理评估，并通过 HuggingFace 免费提供 BERTi'c 模型以及进一步的针对特定任务的微调。

Apr, 2021

本文介绍了我们使用 BERT 和 ELECTRA 基于德语的语言模型 GBERT 和 GELECTRA 的实验，通过改变输入训练数据、模型大小和整个单词掩蔽（WWM）的存在，我们成功实现了在基础和大型模型的文件分类和命名实体识别（NER）任务中取得 SoTA 性能。我们的训练数据采用了 “评估驱动方法”，表明加入更多的数据和使用 WWM 都能提高模型性能。通过对现有德语模型进行基准测试，我们证明这些模型是迄今为止最好的德语模型。我们的训练模型将公开提供给研究社区。

Oct, 2020

本文介绍训练两个三语 Bert 模型 —— 一种适用于芬兰语、爱沙尼亚语和英语的 FinEst BERT 以及一种适用于克罗地亚语、斯洛文尼亚语和英语的 CroSloEngual BERT，并在多种单语和跨语言情况下使用 BERT 和 XLM-R 作为基线评估它们在多个下游任务上的性能，包括命名实体识别、词性标注和依存句法分析，结果表明这些模型能够提高大多数情况下所有任务的结果。

Jun, 2020

介绍了罗马尼亚 BERT，这是第一个纯罗马尼亚的基于 Transformer 的语言模型，并介绍了语料库的组成和清理、模型训练过程以及在各种罗马尼亚数据集上的评估。

Sep, 2020

本文探讨了利用 Transfer Learning 方法，从 Czech pre-trained Wav2Vec 2.0 Model 中导入语音识别模型到斯洛伐克，并在三个 Slovak 数据集上进行了测试，结果表明在预训练阶段初始化权重后，我们的斯洛伐克模型取得了最佳结果，并且优于更大的公共多语种模型。

Jun, 2023

本文研究了自然语言处理中的 BERT 模型及其多语言版本 (mBERT)，比较并探究了语言特定的 BERT 模型与 mBERT 在架构、数据领域和任务上的差异和共性，为读者提供了一个直观的综述和交互式展示网站。

Mar, 2020

本文主要介绍了采用预训练的深度学习语言模型用于自然语言处理的相关研究，特别是新型的 transformer-based BERT 模型。与其他大多采用英语等高资源语言的研究不同，本文侧重于针对冷门语言芬兰语的研究，探索基于多语言模型 Fine-tune 和基于芬兰语数据单独训练的模型的性能比较，实验结果表明后者的表现较好，成为当前芬兰语 POS 标注、NER 和依存分析任务的先进模型。

Dec, 2019

本文介绍在 WMT19 共享任务中，我们采用 Transformer 模型和 document-level 训练方式，用于英捷克翻译，以提高翻译文件的充分性和连贯性。

Jul, 2019