Dec, 2019

BERTje：荷兰语 BERT 模型

PDF
TL;DR该研究比较了基于 2.4 亿令牌的广泛数据集训练的荷兰语模型 BERTje 与基于维基百科文本的多语言 BERT 模型，在词性标注、命名实体识别、语义角色标注和情感分析等自然语言处理任务上，BERTje 表现出更好的性能。
bertpre-trained language modeldutch language modelnlp tasksmonolingual
发现论文，激发创造
  • RobBERT: 一种基于 RoBERTa 的荷兰语言模型

    本研究使用 RobBERT 作为荷兰语预训练模型，对各种任务的执行效果进行了测量，包括用于微调的数据集规模的重要性以及模型的公平性。研究发现，RobBERT 在各种任务上都可以提供良好的性能，并且在处理较小的数据集时明显优于其他模型，这表明它是适用于多种荷兰语任务的功能强大的预训练模型。

    Jan, 2020

  • RobBERTje: 一个被蒸馏的荷兰 BERT 模型

    该论文讨论预训练模型以及使用语言模型精简方法创建的 RobBERTje 蒸馏模型，发现在包含长序列的任务上，与其教师模型相比，蒸馏模型具有更少的性别刻板印象和更好的训练和性能效果。

    Apr, 2022

  • RobBERT-2022: 更新荷兰语言模型以适应语言使用的演变

    该研究对 RobBERT 进行了更新，更新了 tokenizer 和数据集，使用新模型取代模型更新的效果显著，证明持续更新语言模型可以提高性能。

    Nov, 2022

  • ParsBERT：基于 Transformer 的波斯语语言理解模型

    本文提出了一种用于波斯语的单语 BERT 模型（ParsBERT），并采用庞大的数据集进行预训练和各种自然语言处理任务，证明该模型相对于其他结构和多语言模型具有更好的性能。

    May, 2020

  • BERTweet: 英文推文的预训练语言模型

    BERTweet 是第一个用于英语推文的公共大规模预训练语言模型，通过 RoBERTa 预训练程序进行训练并表现优于之前的最先进模型，可用于推文文本的各种任务。

    May, 2020

  • BERT: 深度双向变换器的预训练用于语言理解

    介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

    Oct, 2018

  • BERTuit：通过本地转换器理解 Twitter 上的西班牙语言

    BERTuit 是一个基于 RoBERTa 优化的大型转换器，其目的是为了更好地了解西班牙语 Twitter 并可用于解决该平台上的虚假信息传播问题。该模型在多项任务上进行了评估，并与其他最先进的多语言变压器进行了比较。

    Apr, 2022

  • Czert-- 用于语言表达的类波津 (BERT) 捷克模型

    本文介绍了首个基于 BERT 和 ALBERT 架构的捷克语单语言表示模型的训练过程，使用超过 340,000 个句子进行预训练，并在 9 个数据集上超越了多语言模型的表现，同时在九个数据集上取得了新的最优结果。

    Mar, 2021

  • BERTić -- 用于波斯尼亚语、克罗地亚语、黑山语和塞尔维亚语的 Transformer 语言模型

    本文描述了一个在克罗地亚语、波斯尼亚语、塞尔维亚语和黑山语网络域爬取的 80 亿个令牌的 transformer 模型的预训练，并在词性标注、命名实体识别、地理位置预测和常识因果推理等任务上展示所有任务上的改进。此外，我们引入了 COPA-HR 项目，将可选可行替代品（COPA）数据集翻译成克罗地亚语以进行常识推理评估，并通过 HuggingFace 免费提供 BERTi'c 模型以及进一步的针对特定任务的微调。

    Apr, 2021

  • FinEst BERT 和 CroSloEngual BERT: 在多语言模型中，少即是多

    本文介绍训练两个三语 Bert 模型 —— 一种适用于芬兰语、爱沙尼亚语和英语的 FinEst BERT 以及一种适用于克罗地亚语、斯洛文尼亚语和英语的 CroSloEngual BERT，并在多种单语和跨语言情况下使用 BERT 和 XLM-R 作为基线评估它们在多个下游任务上的性能，包括命名实体识别、词性标注和依存句法分析，结果表明这些模型能够提高大多数情况下所有任务的结果。

    Jun, 2020