bert-based architectures | BriefGPT

关键词bert-based architectures

搜索结果 - 4

COLING基于 BERT 语言模型的标注医学影像报告和信息提取结果的新语料库
介绍了一个包含 609 个注释放射学报告的语料库，用于医学影像诊断，利用两种基于 BERT 的架构，提取事件信息和规范化概念，为二次应用提供结构化的语义表示。
PDF3 months ago
ScholarBERT: 大不见得更好
本文研究了 14 个基于 transformer 的模型在 11 个科学任务上的表现，并创建了迄今最大、最多样化的科学语言模型 ScholarBERT。然而，在模型大小和训练数据等方面存在重大差异的情况下，我们发现这些模型在这些科学任务上的
PDF2 years ago
EMNLPNLI 中的泛化：超越简单启发式方法的方法
本研究对基于 BERT 架构的多种模型（适配器、孪生变压器、HEX 去偏差等）进行了几项实验，包括对数据进行子采样和增加模型大小，以探究自然语言理解（NLU）中关于从 MNLI 到 HANS 等各种特定数据集的泛化问题。研究报告了两种成功的
PDF3 years ago
WangchanBERTa：基于 Transformer 的泰语语言模型的预训练
在泰语这种资源相对较少的语言中，我们使用 RoBERTa-base 架构对大型、去重、清理后的训练集进行预训练，并研究了不同的标记化方式对下游性能的影响，在人工注释的单语境中，我们的模型 wangchanberta-base-att-spm
PDF3 years ago