Feb, 2022

Transformer 与生物医学背景知识的表示

PDF
TL;DR我们研究了基于 transformer 模型（如 BioBERT 和 BioMegatron）在公开的生物医学语料库的基础上如何适应生物医学领域，以及它们编码和表征生物知识的潜力和在癌症精准医学中的应用 - 即，解释基因组变异的临床意义。通过探测、分析和比较这些模型中的基因、变异、药物和疾病的嵌入内部属性，我们证明这些模型确实对生物知识进行了编码，但在针对特定任务进行微调时会失去部分知识。最后，我们分析了模型在数据集中偏见和不平衡方面的行为。
transformers-based modelsbiomedical domainbiological knowledgeprecision medicinegenomic alterations
发现论文，激发创造
  • UMLS-KGI-BERT: 基于数据中心的转换器中的生物医学实体识别知识集成

    通过从 UMLS 中提取文本序列，该工作为丰富生物医学变压器编码器的语言表示做出了数据为中心的范例贡献，从而将基于图的学习目标与掩码语言预训练相结合，初步实验结果表明该框架提高了多个生物医学和临床命名实体识别任务的下游性能。

    Jul, 2023

  • BioBERT：用于生物医学文本挖掘的预训练生物医学语言表示模型

    本文介绍了如何将自然语言处理 (NLP) 中最新的预训练语言模型 BERT 应用于生物医学文献的文本挖掘，并提出了一种自然语言处理 (BioBERT) 模型用于生物医学文本挖掘，该模型在以前的生物医学文本挖掘任务中表现得比 BERT 好并且公开了该模型的预训练权重以及源代码。

    Jan, 2019

  • 多模态基于图的转换器框架用于生物医学关系抽取

    本研究介绍了一种使用多模态线索（如分子结构）帮助模型学习实体（蛋白质）的多组学生物信息的新颖框架，以图形为基础的多模态学习机制利用 GraphBERT 模型编码了文本和分子结构信息，并利用不同模态的基础特征进行端到端的学习。在生物医学领域的蛋白质相互作用任务中，我们的提出的广义方法发现受到了领域特定模态的额外获益。

    Jul, 2021

  • 基于 BERT 的生物医学实体标准化排名

    本研究中，我们提出了一种实体归一化架构，通过微调预训练的 BERT/BioBERT/ClinicalBERT 模型，并使用三种不同类型的数据集进行了广泛的实验，评估了预训练模型用于生物医学实体归一化的有效性。我们的实验结果表明，最佳微调模型始终优于以前的方法，并提高了生物医学实体规范化的最新水平，精确度提高了高达 1.17％。

    Aug, 2019

  • 基于 BERT 的临床知识提取用于生物医学知识图谱构建和分析

    本研究提出了使用 BERT 模型和条件随机场层从临床记录中提取和分析生物医学知识的端到端方法，包括自然语言处理模型用于命名实体识别和关系提取等步骤，可以用于构建医学知识图谱并用于问题解答。实验结果表明，该方法对于 505 位真实患者的生物医学非结构化临床记录的命名实体识别和关系提取的准确率分别为 90.7% 和 88%。

    Apr, 2023

  • 紧凑型医学变压器的有效性

    本文介绍通过知识蒸馏和 Masked Language Modelling (MLM) 目标函数得到的六个轻量化模型 (BioDistilBERT、BioTinyBERT、BioMobileBERT、DistilBioBERT、TinyBioBERT 和 CompactBioBERT)，并在三个生物医学任务中进行评估。实验表明，这些模型与体积更大的 BioBERT-v1.1 性能相当，其速度更快而且更易于使用。

    Sep, 2022

  • 生物医学知识图谱嵌入的基准与最佳实践

    利用知识图谱嵌入学习方法，探索在 SNOMED-CT 知识图谱中学习生物医学知识表征的能力，提供性能测试及最佳实践，并强调利用知识图谱多关系特性学习知识表征的重要性。

    Jun, 2020

  • 面向临床自然语言处理的轻量级 Transformer

    通过知识蒸馏和不断学习等技术，本研究着眼于发展处理临床文本的高效轻量级语言模型，与生物医学文本数据训练的大型模型相比，这些模型效果相当甚至更好，并超越了任何其他训练过的小型模型在自然语言推理、关系提取、命名实体识别和序列分类等临床文本挖掘任务上的表现。

    Feb, 2023

  • 针对实验室协议的领域特定 BERT 表示进行命名实体识别

    通过使用 Bio-Bert 模型进行实体标记，我们的模型在医疗领域的数据集上取得显著的性能提升。

    Dec, 2020

  • BioMegatron: 更大的生物医学领域语言模型

    本研究通过实证研究多个因素，如子单词词汇集、模型大小、预训练语料库和领域转移等，对领域语言应用的表现进行评估，结果表明使用更大的 BioMegatron 模型训练的表现更好，对于生物医学命名实体识别、关系抽取和问答等方面也有显著提高。

    Oct, 2020