Nov, 2021

RoBERTuito：面向西班牙社交媒体文本的预训练语言模型

PDF
TL;DR该研究介绍了 RoBERTuito，这是一个用于西班牙语用户生成文本的预训练语言模型，通过在超过 5 亿条推文上训练，RoBERTuito 在涉及用户生成文本的基准任务中表现优异，并取得了与英语单语模型相竞争的成绩。
pre-trained language modeluser-generated textspanishrobertuitotransfer learning
发现论文，激发创造
  • BERTuit：通过本地转换器理解 Twitter 上的西班牙语言

    BERTuit 是一个基于 RoBERTa 优化的大型转换器，其目的是为了更好地了解西班牙语 Twitter 并可用于解决该平台上的虚假信息传播问题。该模型在多项任务上进行了评估，并与其他最先进的多语言变压器进行了比较。

    Apr, 2022

  • RigoBERTa：一种用于西班牙语的最先进语言模型

    本文介绍了一种名为 RigoBERTa 的西班牙语最先进语言模型的设计和优势， 并与其他西班牙语模型进行了性能比较，结果表明 RigoBERTa 在 13 项 NLU 任务中表现优异，达到了新的 “State-of-the-Art” 结果。

    Apr, 2022

  • RobBERT: 一种基于 RoBERTa 的荷兰语言模型

    本研究使用 RobBERT 作为荷兰语预训练模型，对各种任务的执行效果进行了测量，包括用于微调的数据集规模的重要性以及模型的公平性。研究发现，RobBERT 在各种任务上都可以提供良好的性能，并且在处理较小的数据集时明显优于其他模型，这表明它是适用于多种荷兰语任务的功能强大的预训练模型。

    Jan, 2020

  • RuBioRoBERTa：用于俄语生物医学文本挖掘的预训练生物医学语言模型

    本文介绍了基于 BERT 模型的俄语生物医学文本挖掘模型（RuBioBERT，RuBioRoBERTa）。这些模型在俄语医学领域的文本语料库上进行预训练，并在俄罗斯医学语言理解基准（RuMedBench）上展现了最新的成果，包括文本分类、问答、自然语言推断和命名实体识别。

    Apr, 2022

  • 西班牙预训练 BERT 模型与评估数据

    该研究提出了一种基于 BERT 的专门针对西班牙语数据进行预训练的语言模型，并收集了几个专门针对西班牙语的任务，通过对预训练模型进行微调，在大多数任务上取得了比其他基于 BERT 的多语种预训练模型更好的结果，并在其中一些任务上取得了新的最优成果。

    Aug, 2023

  • RoBERTweet：适用于罗马尼亚推文的 BERT 语言模型

    本文介绍了 RoBERTweet，这是首个使用罗马尼亚推文进行训练的 Transformer 架构，研究结果表明在推特情感检测、性别歧视语言识别和命名实体识别三个自然语言处理任务中，RoBERTweet 模型优于之前的普通领域罗马尼亚语和多语言语言模型。

    Jun, 2023

  • BERTweet: 英文推文的预训练语言模型

    BERTweet 是第一个用于英语推文的公共大规模预训练语言模型，通过 RoBERTa 预训练程序进行训练并表现优于之前的最先进模型，可用于推文文本的各种任务。

    May, 2020

  • 序列到序列的西班牙语预训练语言模型

    本文介绍了在西班牙语语料库上预训练的著名编码器 - 解码器架构 ——BART、T5 和 BERT2BERT 风格模型。通过对各种序列到序列任务（包括摘要、改写和生成式问答）的综合评估，我们发现所有模型的性能竞争力，其中 BART 和 T5 在所有评估任务中表现最好。此外，我们还将所有模型公开提供给研究社区，促进西班牙语语言处理领域的未来探索和发展。

    Sep, 2023

  • EriBERTa：适用于临床自然语言处理的双语预训练语言模型

    本文介绍了 EriBERTa，一种在大量医疗和临床语料库上进行预训练的双语领域特定语言模型，并展示了其在医学文本理解和信息提取方面的优越能力，表现出有望实现知识从一种语言到另一种语言的转移。

    Jun, 2023

  • ALBETO 和 DistilBETO：轻量级西班牙语言模型

    在本文中，我们针对西班牙语语料库训练了两种语言模型 ALBETO 和 DistilBETO，这些模型参数轻量级，且相较于其他模型在西班牙语自然语言解析任务上取得了竞争性的结果。

    Apr, 2022