Feb, 2023

Bioformer：面向生物医学文本挖掘的高效 Transformer 语言模型

PDF
TL;DR本研究提出了 Bioformer，一种用于生物医学文本挖掘的紧凑型 BERT 模型，它在 PubMed 文摘和 PubMed Central 全文文章上进行了预训练，使用生物医学词汇表。Bioformer 相对于 BERTBase 减小了 60％的模型大小，且在四种不同的生物医学 NLP 任务中表现出优异的性能，比如问答，文档分类和命名实体识别等。此外，Bioformer 速度比 PubMedBERT 和 BioBERTBase-v1.1 快 2-3 倍。
发现论文，激发创造
  • BioBERT：用于生物医学文本挖掘的预训练生物医学语言表示模型

    本文介绍了如何将自然语言处理 (NLP) 中最新的预训练语言模型 BERT 应用于生物医学文献的文本挖掘，并提出了一种自然语言处理 (BioBERT) 模型用于生物医学文本挖掘，该模型在以前的生物医学文本挖掘任务中表现得比 BERT 好并且公开了该模型的预训练权重以及源代码。

    Jan, 2019

  • 紧凑型医学变压器的有效性

    本文介绍通过知识蒸馏和 Masked Language Modelling (MLM) 目标函数得到的六个轻量化模型 (BioDistilBERT、BioTinyBERT、BioMobileBERT、DistilBioBERT、TinyBioBERT 和 CompactBioBERT)，并在三个生物医学任务中进行评估。实验表明，这些模型与体积更大的 BioBERT-v1.1 性能相当，其速度更快而且更易于使用。

    Sep, 2022

  • 使用 Bioformer 进行 COVID-19 文献的多标记主题分类

    本文介绍 Bioformer 团队在 BioCreative VII 的 track 5 中多标签主题分类任务中所采用的不同 BERT 模型 (BioBERT、PubMedBERT 和 Bioformer) 对 COVID-19 文献主题分类的表现。结果表明 Bioformer 在此任务中的表现优于 BioBERT 和 PubMedBERT，并使用 COVID-19 文章的预训练进一步提高了性能。

    Apr, 2022

  • 面向临床自然语言处理的轻量级 Transformer

    通过知识蒸馏和不断学习等技术，本研究着眼于发展处理临床文本的高效轻量级语言模型，与生物医学文本数据训练的大型模型相比，这些模型效果相当甚至更好，并超越了任何其他训练过的小型模型在自然语言推理、关系提取、命名实体识别和序列分类等临床文本挖掘任务上的表现。

    Feb, 2023

  • BioGPT：用于生物医学文本生成和挖掘的生成式预训练变形器

    本文提出了一种基于大规模生物医学文献预训练的领域特定生成 Transfomer 语言模型 ——BioGPT，用于生物医学领域的自然语言处理任务，结果表明 BioGPT-Large 在 PubMedQA 任务上取得了 81.0% 的准确率，并提高了 BC5CDR、KD-DTI 和 DDI 关系提取任务的 F1 得分。

    Oct, 2022

  • BioALBERT: 一种简单而有效的预训练语言模型，用于生物医学命名实体识别

    提出一种在大规模生物医学语料库上训练的具有生物医学上下文依赖命名实体识别能力的领域特定语言模型 —— 生物医学 ALBERT，并在 8 个不同的医学 NER 基准数据集上展现出极高的性能表现，该模型可供未来研究使用。

    Sep, 2020

  • 基于 BERT 的生物医学实体标准化排名

    本研究中，我们提出了一种实体归一化架构，通过微调预训练的 BERT/BioBERT/ClinicalBERT 模型，并使用三种不同类型的数据集进行了广泛的实验，评估了预训练模型用于生物医学实体归一化的有效性。我们的实验结果表明，最佳微调模型始终优于以前的方法，并提高了生物医学实体规范化的最新水平，精确度提高了高达 1.17％。

    Aug, 2019

  • 临床长序列变压器：Clinical-Longformer 和 Clinical-BigBird

    该研究介绍了一种基于 Transformer 的语言模型，通过使用稀疏的注意机制来扩展最大输入序列长度，从而取得了在多项基准任务中超越 ClinicalBERT 和其他短序列变压器的显著成果。

    Jan, 2022

  • Transformer 与生物医学背景知识的表示

    我们研究了基于 transformer 模型（如 BioBERT 和 BioMegatron）在公开的生物医学语料库的基础上如何适应生物医学领域，以及它们编码和表征生物知识的潜力和在癌症精准医学中的应用 - 即，解释基因组变异的临床意义。通过探测、分析和比较这些模型中的基因、变异、药物和疾病的嵌入内部属性，我们证明这些模型确实对生物知识进行了编码，但在针对特定任务进行微调时会失去部分知识。最后，我们分析了模型在数据集中偏见和不平衡方面的行为。

    Feb, 2022

  • BioMedLM：训练于生物医学文本的 27 亿参数语言模型

    BioMedLM, a 2.7 billion parameter GPT-style autoregressive model trained on PubMed, demonstrates competitive performance in biomedical NLP tasks, highlighting the potential of smaller, targeted models as efficient and environmentally friendly alternatives.

    Mar, 2024