Apr, 2022

ALBETO 和 DistilBETO：轻量级西班牙语言模型

PDF
TL;DR在本文中，我们针对西班牙语语料库训练了两种语言模型 ALBETO 和 DistilBETO，这些模型参数轻量级，且相较于其他模型在西班牙语自然语言解析任务上取得了竞争性的结果。
pre-trained language modelslightweight modelsalbetodistilbetospanish corpora
发现论文，激发创造
  • RigoBERTa：一种用于西班牙语的最先进语言模型

    本文介绍了一种名为 RigoBERTa 的西班牙语最先进语言模型的设计和优势， 并与其他西班牙语模型进行了性能比较，结果表明 RigoBERTa 在 13 项 NLU 任务中表现优异，达到了新的 “State-of-the-Art” 结果。

    Apr, 2022

  • 西班牙语效率问答的语言模型知识蒸馏

    该研究论文通过知识蒸馏技术开发了适用于西班牙语的 RoBERTa 压缩语言模型，旨在提供高效的西班牙语问答能力，并在计算资源有限的环境中广泛应用，同时保持性能不受明显影响。该工作为进一步研究和压缩西班牙语模型在各种 NLP 任务中的应用提供了起点。

    Dec, 2023

  • ALBERTI，一种用于诗歌分析的多语种领域特定语言模型

    本文介绍了一个多种语言诗歌首款多语言预训练大型语言模型 ALBERTI，通过专门领域预训练，对来自 12 种语言的 1200 万诗句语料库进行训练，表现出色，达到了德语的最新水平

    Jul, 2023

  • RoBERTuito：面向西班牙社交媒体文本的预训练语言模型

    该研究介绍了 RoBERTuito，这是一个用于西班牙语用户生成文本的预训练语言模型，通过在超过 5 亿条推文上训练，RoBERTuito 在涉及用户生成文本的基准任务中表现优异，并取得了与英语单语模型相竞争的成绩。

    Nov, 2021

  • RobBERTje: 一个被蒸馏的荷兰 BERT 模型

    该论文讨论预训练模型以及使用语言模型精简方法创建的 RobBERTje 蒸馏模型，发现在包含长序列的任务上，与其教师模型相比，蒸馏模型具有更少的性别刻板印象和更好的训练和性能效果。

    Apr, 2022

  • 序列到序列的西班牙语预训练语言模型

    本文介绍了在西班牙语语料库上预训练的著名编码器 - 解码器架构 ——BART、T5 和 BERT2BERT 风格模型。通过对各种序列到序列任务（包括摘要、改写和生成式问答）的综合评估，我们发现所有模型的性能竞争力，其中 BART 和 T5 在所有评估任务中表现最好。此外，我们还将所有模型公开提供给研究社区，促进西班牙语语言处理领域的未来探索和发展。

    Sep, 2023

  • BERTino: 一种意大利 DistilBERT 模型

    本论文介绍了 BERTino，这是一种特定于意大利语的 DistilBERT 模型，旨在提供第一种轻量级 BERT 架构替代方案。我们在意大利 ISDT、意大利 ParTUT、意大利 WikiNER 和多类别分类任务上评估了 BERTino，获得了与 BERTBASE 相当的 F1 分数，并大幅提高训练和推断速度。

    Mar, 2023

  • 西班牙预训练 BERT 模型与评估数据

    该研究提出了一种基于 BERT 的专门针对西班牙语数据进行预训练的语言模型，并收集了几个专门针对西班牙语的任务，通过对预训练模型进行微调，在大多数任务上取得了比其他基于 BERT 的多语种预训练模型更好的结果，并在其中一些任务上取得了新的最优成果。

    Aug, 2023

  • DistilBERT：BERT 的简化版 —— 更小、更快、更便宜、更轻

    通过知识蒸馏的预训练阶段，可以将 BERT 模型的大小缩小 40％，同时保持 97％的语言理解能力并且速度提升 60％，这种方法被称为 DistilBERT，并可为边缘设备上的计算提供良好的性能

    Oct, 2019

  • 加载所需：多语言 BERT 的较小版本

    本文探讨如何通过减少多语言模型中的词汇量来生成更小且性能相当的模型，研究结果表明，相比蒸馏的方法，此种方法能在保持性能的情况下，将模型总参数减少达 45% 左右。

    Oct, 2020