Sep, 2022
紧凑型医学变压器的有效性
On the Effectiveness of Compact Biomedical Transformers
Omid Rohanian, Mohammadmahdi Nouriborji, Samaneh Kouchaki, David A. Clifton
TL;DR本文介绍通过知识蒸馏和 Masked Language Modelling (MLM) 目标函数得到的六个轻量化模型 (BioDistilBERT、BioTinyBERT、BioMobileBERT、DistilBioBERT、TinyBioBERT 和 CompactBioBERT),并在三个生物医学任务中进行评估。实验表明,这些模型与体积更大的 BioBERT-v1.1 性能相当,其速度更快而且更易于使用。