序列标注的小型实用 BERT 模型

EMNLPAug, 2019

Small and Practical BERT Models for Sequence Labeling

Henry Tsai, Jason Riesa, Melvin Johnson, Naveen Arivazhagan, Xin Li...

TL;DR我们提出了一种实用的方案来训练一个单一的多语言序列标注模型，这个模型在单个 CPU 上运行，能够给出最先进的结果，足够小和快速。从一个公共的多语言 BERT 检查点开始，我们的最终模型比最先进的多语言基线模型更加准确，并且速度更快，6 倍更小。我们证明了我们的模型特别是在低资源语言上表现出色，并且可以在混合输入文本上工作，而不需要对混合示例进行明确的训练。我们通过 70 棵树库和 48 种语言的词汇标注和形态预测来展示我们方法的有效性。

Abstract

We propose a practical scheme to train a single multilingual sequence labeling model that yields state of the art results and is small and fast enough to run on a single CPU. Starting from a public multilingual bert checkpoint, our final model is 6x smaller and 27x faster, and has high

multilingual sequence labeling bert low-resource languages part-of-speech tagging morphological prediction

发现论文，激发创造

序列标注：实用方法

通过使用通用的基于 Bi-LSTM 的神经序列标注模型，其应用于广泛的自然语言处理任务和语言，结合从数据中提取的形态、语义和结构提示信息以进行有根据的预测，本研究在 8 个基准数据集上对其性能进行了评估，其结果在 4 个数据集上取得了最佳的表现。

Aug, 2018

开发和评估小到中型土耳其 BERT 模型

该研究介绍和评估了微小、迷你、小型和中型的非套壳土耳其 BERT 模型，旨在填补资源匮乏语言领域的研究差距。我们使用多个来源的超过 75GB 文本构建了这些模型的训练集，并在多个任务中进行了测试，包括掩码预测、情感分析、新闻分类和零样本分类。尽管模型规模较小，但我们的模型在保证计算效率和更快执行时间的同时，表现出了强大的性能，包括零样本任务。我们的发现对于发展和应用较小语言模型，特别是在土耳其语境下，提供了有价值的见解。

Jul, 2023

KR-BERT：小规模韩语特定语言模型

本论文旨在训练适用于韩语的小型语言模型 KR-BERT，通过采用较小的词汇表和数据集、优化令牌化方法，提高了韩语语言现象的捕捉效率，实现了与大型语言模型相媲美甚至更优的性能。

Aug, 2020

FinEst BERT 和 CroSloEngual BERT: 在多语言模型中，少即是多

本文介绍训练两个三语 Bert 模型 —— 一种适用于芬兰语、爱沙尼亚语和英语的 FinEst BERT 以及一种适用于克罗地亚语、斯洛文尼亚语和英语的 CroSloEngual BERT，并在多种单语和跨语言情况下使用 BERT 和 XLM-R 作为基线评估它们在多个下游任务上的性能，包括命名实体识别、词性标注和依存句法分析，结果表明这些模型能够提高大多数情况下所有任务的结果。

Jun, 2020

序列到序列的西班牙语预训练语言模型

本文介绍了在西班牙语语料库上预训练的著名编码器 - 解码器架构 ——BART、T5 和 BERT2BERT 风格模型。通过对各种序列到序列任务（包括摘要、改写和生成式问答）的综合评估，我们发现所有模型的性能竞争力，其中 BART 和 T5 在所有评估任务中表现最好。此外，我们还将所有模型公开提供给研究社区，促进西班牙语语言处理领域的未来探索和发展。

Sep, 2023

加载所需：多语言 BERT 的较小版本

本文探讨如何通过减少多语言模型中的词汇量来生成更小且性能相当的模型，研究结果表明，相比蒸馏的方法，此种方法能在保持性能的情况下，将模型总参数减少达 45% 左右。

Oct, 2020

MicroBERT：低资源单语 BERT 的参数减少和多任务学习的有效训练

本研究探讨了两种技术，以在低资源设置中训练单语言 TLM，结果表明 MicroBERT 模型能够对下游任务评估进行显著改善。

Dec, 2022

紧凑型医学变压器的有效性

本文介绍通过知识蒸馏和 Masked Language Modelling (MLM) 目标函数得到的六个轻量化模型 (BioDistilBERT、BioTinyBERT、BioMobileBERT、DistilBioBERT、TinyBioBERT 和 CompactBioBERT)，并在三个生物医学任务中进行评估。实验表明，这些模型与体积更大的 BioBERT-v1.1 性能相当，其速度更快而且更易于使用。

Sep, 2022

简单的 BERT 模型用于关系抽取和语义角色标注

本文介绍基于 BERT 的模型在关系抽取和语义角色标注中的应用。实验结果表明，在不使用任何外部特征的情况下，这种简单的模型可以达到最先进的性能表现，提供了未来研究的强有力基础。

Apr, 2019

MobileBERT：一种紧凑型的面向资源受限设备的通用任务 BERT 模型

本文介绍了 MobileBERT，它是一种用于压缩和加速流行的 BERT 模型的方法，通过使用瓶颈结构和仔细设计的自我关注和前馈网络之间的平衡来实现。实证研究表明，MobileBERT 比 BERT_BASE 小 4.3 倍，比 BERT_BASE 快 5.5 倍，并在众所周知的基准测试中取得了有竞争力的结果。

Apr, 2020