Jul, 2024

Igea: 适用于意大利生物医学文本生成的仅解码器语言模型

TL;DR本文介绍了 Igea,这是第一个专为意大利生物医学文本生成而设计的仅解码器语言模型。基于 Minerva 模型,持续在多样意大利医学文本语料库上进行预训练的 Igea 有三种模型大小:3.5 亿、10 亿和 30 亿参数。我们使用混合的领域内生物医学语料库和通用基准进行 Igea 的评估,突出了其效果和特定培训后的保留一般知识能力。该论文讨论了模型的开发和评估,并为意大利生物医学自然语言处理的未来发展奠定了基础。