Mar, 2023

BERTino: 一种意大利 DistilBERT 模型

PDF
TL;DR本论文介绍了 BERTino，这是一种特定于意大利语的 DistilBERT 模型，旨在提供第一种轻量级 BERT 架构替代方案。我们在意大利 ISDT、意大利 ParTUT、意大利 WikiNER 和多类别分类任务上评估了 BERTino，获得了与 BERTBASE 相当的 F1 分数，并大幅提高训练和推断速度。
transformersnlpbertinoitalian languagedistilbert
发现论文，激发创造
  • ALBETO 和 DistilBETO：轻量级西班牙语言模型

    在本文中，我们针对西班牙语语料库训练了两种语言模型 ALBETO 和 DistilBETO，这些模型参数轻量级，且相较于其他模型在西班牙语自然语言解析任务上取得了竞争性的结果。

    Apr, 2022

  • RobBERTje: 一个被蒸馏的荷兰 BERT 模型

    该论文讨论预训练模型以及使用语言模型精简方法创建的 RobBERTje 蒸馏模型，发现在包含长序列的任务上，与其教师模型相比，蒸馏模型具有更少的性别刻板印象和更好的训练和性能效果。

    Apr, 2022

  • DistilBERT：BERT 的简化版 —— 更小、更快、更便宜、更轻

    通过知识蒸馏的预训练阶段，可以将 BERT 模型的大小缩小 40％，同时保持 97％的语言理解能力并且速度提升 60％，这种方法被称为 DistilBERT，并可为边缘设备上的计算提供良好的性能

    Oct, 2019

  • TinyBERT：自然语言理解的 BERT 蒸馏模型

    通过新的 Transformer 蒸馏方法和两阶段 TinyBERT 学习框架，可以有效地将大型 BERT 中的知识转移到小型 TinyBERT，从而在维持准确性的同时加速推理和减少模型大小，TinyBERT 在短语匹配任务的 GLUE 数据集上取得了 96.8% 以上的性能，模型大小约为 BERT 的 1/8，推理速度约为 BERT 的 1/10。

    Sep, 2019

  • DistilCamemBERT: 法国模型 CamemBERT 的蒸馏

    本文介绍了一种针对自然语言处理的 Transformer 模型的改进方法，该方法大大降低了计算成本，同时保持了较好的性能表现。

    May, 2022

  • 紧凑型医学变压器的有效性

    本文介绍通过知识蒸馏和 Masked Language Modelling (MLM) 目标函数得到的六个轻量化模型 (BioDistilBERT、BioTinyBERT、BioMobileBERT、DistilBioBERT、TinyBioBERT 和 CompactBioBERT)，并在三个生物医学任务中进行评估。实验表明，这些模型与体积更大的 BioBERT-v1.1 性能相当，其速度更快而且更易于使用。

    Sep, 2022

  • RoBERTuito：面向西班牙社交媒体文本的预训练语言模型

    该研究介绍了 RoBERTuito，这是一个用于西班牙语用户生成文本的预训练语言模型，通过在超过 5 亿条推文上训练，RoBERTuito 在涉及用户生成文本的基准任务中表现优异，并取得了与英语单语模型相竞争的成绩。

    Nov, 2021

  • 面向临床自然语言处理的轻量级 Transformer

    通过知识蒸馏和不断学习等技术，本研究着眼于发展处理临床文本的高效轻量级语言模型，与生物医学文本数据训练的大型模型相比，这些模型效果相当甚至更好，并超越了任何其他训练过的小型模型在自然语言推理、关系提取、命名实体识别和序列分类等临床文本挖掘任务上的表现。

    Feb, 2023

  • TernaryBERT: 知识蒸馏感知的超低比特 BERT

    本文提出 TernaryBERT，在 fine-tuned BERT 模型中采用了三元权重化，通过近似法和损失感知方法研究了 BERT 不同部分的三元化粒度，并在训练过程中利用知识蒸馏技术来减少低位容量引起的精度下降，实验证明 TernaryBERT 不仅优于其他 BERT 量化方法，而且在 14.9 倍的情况下与全精度模型性能相当。

    Sep, 2020

  • BERTje：荷兰语 BERT 模型

    该研究比较了基于 2.4 亿令牌的广泛数据集训练的荷兰语模型 BERTje 与基于维基百科文本的多语言 BERT 模型，在词性标注、命名实体识别、语义角色标注和情感分析等自然语言处理任务上，BERTje 表现出更好的性能。

    Dec, 2019