Apr, 2022

RigoBERTa：一种用于西班牙语的最先进语言模型

PDF
TL;DR本文介绍了一种名为 RigoBERTa 的西班牙语最先进语言模型的设计和优势， 并与其他西班牙语模型进行了性能比较，结果表明 RigoBERTa 在 13 项 NLU 任务中表现优异，达到了新的 “State-of-the-Art” 结果。
rigobertalanguage modelspanishnlustate-of-the-art
发现论文，激发创造
  • RoBERTuito：面向西班牙社交媒体文本的预训练语言模型

    该研究介绍了 RoBERTuito，这是一个用于西班牙语用户生成文本的预训练语言模型，通过在超过 5 亿条推文上训练，RoBERTuito 在涉及用户生成文本的基准任务中表现优异，并取得了与英语单语模型相竞争的成绩。

    Nov, 2021

  • ALBETO 和 DistilBETO：轻量级西班牙语言模型

    在本文中，我们针对西班牙语语料库训练了两种语言模型 ALBETO 和 DistilBETO，这些模型参数轻量级，且相较于其他模型在西班牙语自然语言解析任务上取得了竞争性的结果。

    Apr, 2022

  • 序列到序列的西班牙语预训练语言模型

    本文介绍了在西班牙语语料库上预训练的著名编码器 - 解码器架构 ——BART、T5 和 BERT2BERT 风格模型。通过对各种序列到序列任务（包括摘要、改写和生成式问答）的综合评估，我们发现所有模型的性能竞争力，其中 BART 和 T5 在所有评估任务中表现最好。此外，我们还将所有模型公开提供给研究社区，促进西班牙语语言处理领域的未来探索和发展。

    Sep, 2023

  • 西班牙预训练 BERT 模型与评估数据

    该研究提出了一种基于 BERT 的专门针对西班牙语数据进行预训练的语言模型，并收集了几个专门针对西班牙语的任务，通过对预训练模型进行微调，在大多数任务上取得了比其他基于 BERT 的多语种预训练模型更好的结果，并在其中一些任务上取得了新的最优成果。

    Aug, 2023

  • EriBERTa：适用于临床自然语言处理的双语预训练语言模型

    本文介绍了 EriBERTa，一种在大量医疗和临床语料库上进行预训练的双语领域特定语言模型，并展示了其在医学文本理解和信息提取方面的优越能力，表现出有望实现知识从一种语言到另一种语言的转移。

    Jun, 2023

  • RuBioRoBERTa：用于俄语生物医学文本挖掘的预训练生物医学语言模型

    本文介绍了基于 BERT 模型的俄语生物医学文本挖掘模型（RuBioBERT，RuBioRoBERTa）。这些模型在俄语医学领域的文本语料库上进行预训练，并在俄罗斯医学语言理解基准（RuMedBench）上展现了最新的成果，包括文本分类、问答、自然语言推断和命名实体识别。

    Apr, 2022

  • RobBERT: 一种基于 RoBERTa 的荷兰语言模型

    本研究使用 RobBERT 作为荷兰语预训练模型，对各种任务的执行效果进行了测量，包括用于微调的数据集规模的重要性以及模型的公平性。研究发现，RobBERT 在各种任务上都可以提供良好的性能，并且在处理较小的数据集时明显优于其他模型，这表明它是适用于多种荷兰语任务的功能强大的预训练模型。

    Jan, 2020

  • BERTuit：通过本地转换器理解 Twitter 上的西班牙语言

    BERTuit 是一个基于 RoBERTa 优化的大型转换器，其目的是为了更好地了解西班牙语 Twitter 并可用于解决该平台上的虚假信息传播问题。该模型在多项任务上进行了评估，并与其他最先进的多语言变压器进行了比较。

    Apr, 2022

  • 西班牙语语言模型评估中得到的经验教训

    本文提供了一份全面的研究报告，比较了用于西班牙语的语言模型，报告显示：先前被忽略的大型跨语言模型比单语模型表现更好，单语模型的结果并不是确定性的，需要进一步研究语料库大小、质量和预训练技术等因素。

    Dec, 2022

  • ALBERTI，一种用于诗歌分析的多语种领域特定语言模型

    本文介绍了一个多种语言诗歌首款多语言预训练大型语言模型 ALBERTI，通过专门领域预训练，对来自 12 种语言的 1200 万诗句语料库进行训练，表现出色，达到了德语的最新水平

    Jul, 2023