Dec, 2022
基于 Transformer 的生物医学语言模型的领域内适应性本地化
Localising In-Domain Adaptation of Transformer-Based Biomedical Language Models
Tommaso Mario Buonocore, Claudio Crema, Alberto Redolfi, Riccardo Bellazzi, Enea Parimbelli
TL;DR本文旨在探究两种途径从英语语料库中翻译生成的语言格式数据和本地化的语料库数据来建立生物医学语言模型，以应用在医疗领域中以提高患者护理和管理（本研究以意大利为例）。通过实验发现，在相对较小的语料库情况下，高质量数据的合并可以提高模型性能，但数据量的限制更为严格；本文的研究成果有望为意大利医院和学术界提供发展机遇，并为如何构建通用于其他不太具备资源的语言和不同领域设置的生物医学语言模型提供有价值的见解。