BERT 可能太过复杂：一个基于残差卷积神经网络的小而有效的生物医学实体链接器

EMNLPSep, 2021

BERT 可能太过复杂：一个基于残差卷积神经网络的小而有效的生物医学实体链接器

BERT might be Overkill: A Tiny but Effective Biomedical Entity Linker based on Residual Convolutional Neural Networks

Tuan Lai, Heng Ji, ChengXiang Zhai

TL;DR通过探究实体链接任务中基于 BERT 的模型的内在工作机制，我们提出了一个具有卷积神经网络和残差连接的高效模型，能够在拥有大约 60 倍更少的参数的情况下实现与现有最先进的 BERT-based 模型相当甚至更好的实体链接准确性。

Abstract

biomedical entity linking is the task of linking entity mentions in a biomedical document to referent entities in a knowledge base. Recently, many bert-based models have been introduced for the task. While these

biomedical entity linking bert-based models probing experiments convolutional neural network linking accuracy

发现论文，激发创造

医学实体链接的轻量级神经模型

本研究提出了一种轻量级神经方法，利用对齐层和注意力机制来捕捉提到与实体的不同名称变化，以解决生物医学概念链接中同一实体具有各种名称变体的挑战，并且在标准评估基准上证明该模型表现竞争力。

Dec, 2020

基于 BERT 的生物医学实体标准化排名

本研究中，我们提出了一种实体归一化架构，通过微调预训练的 BERT/BioBERT/ClinicalBERT 模型，并使用三种不同类型的数据集进行了广泛的实验，评估了预训练模型用于生物医学实体归一化的有效性。我们的实验结果表明，最佳微调模型始终优于以前的方法，并提高了生物医学实体规范化的最新水平，精确度提高了高达 1.17％。

Aug, 2019

使用双编码器快速有效的生物医学实体链接

本研究提出了一种基于 BERT 的双编码器模型，可一次处理文档中的多个关键词，解决了现有模型效率低的问题，在生物医学实体链接领域取得了与现有模型相当的准确性，并对其进行了改进，实现了端到端生物医学实体链接，表现出更好的性能.

Mar, 2021

BioALBERT: 一种简单而有效的预训练语言模型，用于生物医学命名实体识别

提出一种在大规模生物医学语料库上训练的具有生物医学上下文依赖命名实体识别能力的领域特定语言模型 —— 生物医学 ALBERT，并在 8 个不同的医学 NER 基准数据集上展现出极高的性能表现，该模型可供未来研究使用。

Sep, 2020

BioBERT：用于生物医学文本挖掘的预训练生物医学语言表示模型

本文介绍了如何将自然语言处理 (NLP) 中最新的预训练语言模型 BERT 应用于生物医学文献的文本挖掘，并提出了一种自然语言处理 (BioBERT) 模型用于生物医学文本挖掘，该模型在以前的生物医学文本挖掘任务中表现得比 BERT 好并且公开了该模型的预训练权重以及源代码。

Jan, 2019

基于稠密实体检索的可扩展零样本实体链接

本文介绍一种基于 BERT 的实体链接模型，采用两阶段的零样本链接算法，通过双编码器进行实体检索，并进一步用交叉编码器对候选实体进行重排序。经实验证明，这种方法不需要显式实体嵌入或手动工程化的实体表，已超越最近的零样本评估和已建立的非零样本评估（如 TACKBP-2010），并且具有速度快的优点。

Nov, 2019

紧凑型医学变压器的有效性

本文介绍通过知识蒸馏和 Masked Language Modelling (MLM) 目标函数得到的六个轻量化模型 (BioDistilBERT、BioTinyBERT、BioMobileBERT、DistilBioBERT、TinyBioBERT 和 CompactBioBERT)，并在三个生物医学任务中进行评估。实验表明，这些模型与体积更大的 BioBERT-v1.1 性能相当，其速度更快而且更易于使用。

Sep, 2022

使用简单的神经端对端实体链接探究 BERT 中的实体知识

使用 BERT 模型结合用于上下文文本表示的模型来一并训练实体链接系统，在一个实体链接基准数据集上，我们的模型得分第二，但在其他自然语言处理基准数据集上对于实体知识的了解并没有提高模型的表现。

Mar, 2020

通过多粒度嵌入和增强标注进行多级生物医学命名实体识别

本文提出了一种集成多种模型的混合方法，以解决生物医学实体识别中的局限性，并在 i2b2/2010 数据集上评估，得到了 90.11 的 F1 分数。

Dec, 2023

基于 BERT 的临床知识提取用于生物医学知识图谱构建和分析

本研究提出了使用 BERT 模型和条件随机场层从临床记录中提取和分析生物医学知识的端到端方法，包括自然语言处理模型用于命名实体识别和关系提取等步骤，可以用于构建医学知识图谱并用于问题解答。实验结果表明，该方法对于 505 位真实患者的生物医学非结构化临床记录的命名实体识别和关系提取的准确率分别为 90.7% 和 88%。

Apr, 2023