罗马尼亚 BERT 的诞生

EMNLPSep, 2020

The birth of Romanian BERT

Stefan Daniel Dumitrescu, Andrei-Marius Avram, Sampo Pyysalo

TL;DR介绍了罗马尼亚 BERT，这是第一个纯罗马尼亚的基于 Transformer 的语言模型，并介绍了语料库的组成和清理、模型训练过程以及在各种罗马尼亚数据集上的评估。

Abstract

large-scale pretrained language models have become ubiquitous in Natural Language Processing. However, most of these models are available either in high-resource languages, in particular English, or as multilingual models that compromise performance on individual languages for coverage

large-scale pretrained language models romanian bert transformer-based language model corpus composition model training

发现论文，激发创造

RoBERTweet：适用于罗马尼亚推文的 BERT 语言模型

本文介绍了 RoBERTweet，这是首个使用罗马尼亚推文进行训练的 Transformer 架构，研究结果表明在推特情感检测、性别歧视语言识别和命名实体识别三个自然语言处理任务中，RoBERTweet 模型优于之前的普通领域罗马尼亚语和多语言语言模型。

Jun, 2023

如何训练强大的罗马尼亚语语言模型（LLM），附带英文指导

我们是第一个收集和翻译大量文本、指令和基准，并训练、评估和发布专门针对罗马尼亚语的开源大型语言模型，通过在学术基准、手动翻译的 MT-Bench 和专业构建的历史、文化和社会基准测试中获得卓越的结果，我们公开发布所有资源以支持和鼓励罗马尼亚语大型语言模型的研究，并同时创建适用于其他低资源语言的可推广的方法。

Jun, 2024

规模化波兰变压器语言模型预训练

本文介绍了两个基于流行的 BERT 架构的波兰语语言模型，经过评估，我们的模型在 13 个波兰语语言任务中取得了显著的提高。

Jun, 2020

ParsBERT：基于 Transformer 的波斯语语言理解模型

本文提出了一种用于波斯语的单语 BERT 模型（ParsBERT），并采用庞大的数据集进行预训练和各种自然语言处理任务，证明该模型相对于其他结构和多语言模型具有更好的性能。

May, 2020

Czert-- 用于语言表达的类波津 (BERT) 捷克模型

本文介绍了首个基于 BERT 和 ALBERT 架构的捷克语单语言表示模型的训练过程，使用超过 340,000 个句子进行预训练，并在 9 个数据集上超越了多语言模型的表现，同时在九个数据集上取得了新的最优结果。

Mar, 2021

拉丁 BERT: 古典语言学的上下文语言模型

我们介绍了 Latin BERT，它是一种针对拉丁语言的上下文语言模型。在多个案例研究中，我们展示了该模型在自然语言处理和传统学术研究中的多种应用，比如在所有三个拉丁语通用语义数据集上都取得了最新的最佳词性标注成果，并通过查询上下文最近邻实现了语义上信息化的搜索。

Sep, 2020

基于 BERT 的罗马尼亚语数据集 ROST 的作者归属

使用预训练的语言模型 BERT 来检测罗马尼亚语文本的作者，虽然数据集不平衡，但结果比预期好，有时超过 87％的宏平均精度。

Jan, 2023

RobBERT: 一种基于 RoBERTa 的荷兰语言模型

本研究使用 RobBERT 作为荷兰语预训练模型，对各种任务的执行效果进行了测量，包括用于微调的数据集规模的重要性以及模型的公平性。研究发现，RobBERT 在各种任务上都可以提供良好的性能，并且在处理较小的数据集时明显优于其他模型，这表明它是适用于多种荷兰语任务的功能强大的预训练模型。

Jan, 2020

GREEK-BERT：希腊人参观芝麻街

这篇论文介绍了一种基于 BERT 的希腊语语言模型 GREEK-BERT，在三个 NLP 任务中表现优异，并比其它多语种 Transformer 模型和基于预训练词嵌入的基线模型表现更好。研究人员已经公开了 GREEK-BERT 和训练代码，并提供如何将 GREEK-BERT fine-tune 用于下游 NLP 任务的代码，以推动现代希腊语的 NLP 研究和应用。

Aug, 2020

FinEst BERT 和 CroSloEngual BERT: 在多语言模型中，少即是多

本文介绍训练两个三语 Bert 模型 —— 一种适用于芬兰语、爱沙尼亚语和英语的 FinEst BERT 以及一种适用于克罗地亚语、斯洛文尼亚语和英语的 CroSloEngual BERT，并在多种单语和跨语言情况下使用 BERT 和 XLM-R 作为基线评估它们在多个下游任务上的性能，包括命名实体识别、词性标注和依存句法分析，结果表明这些模型能够提高大多数情况下所有任务的结果。

Jun, 2020