医学实体表示的自校准预训练

ACLOct, 2020

Self-Alignment Pretraining for Biomedical Entity Representations

Fangyu Liu, Ehsan Shareghi, Zaiqiao Meng, Marco Basaldella, Nigel Collier

TL;DR本研究提出了一种自我对齐的预训练模型 SapBERT，以处理医学名词实体链接（MEL）等实体级任务，利用 UMLS 等生物医学本体学的庞大集合，实现了新的最优结果，并证明其相对于 BioBERT 和 PubMedBERT 等先前的特定领域的 MLM 的有效性和鲁棒性。

Abstract

Despite the widespread success of self-supervised learning via masked language models (MLM), accurately capturing fine-grained semantic relationships in the biomedical domain remains a challenge. This is of param

self-supervised learning biomedical domain entity-level tasks sapbert medical entity linking

发现论文，激发创造

BioALBERT: 一种简单而有效的预训练语言模型，用于生物医学命名实体识别

提出一种在大规模生物医学语料库上训练的具有生物医学上下文依赖命名实体识别能力的领域特定语言模型 —— 生物医学 ALBERT，并在 8 个不同的医学 NER 基准数据集上展现出极高的性能表现，该模型可供未来研究使用。

Sep, 2020

将自对齐的 BERT 模型在自动生成的荷兰维基百科语料上进行微调的生物医学实体链接

用荷兰语进行评估的首个生物医学实体链接模型基于 MedRoBERTa.nl 为基础模型，通过自对齐在荷兰语生物医学本体上进行第二阶段预训练，并在维基百科中的本体链接荷兰语生物医学实体数据集上进行微调。在 Mantra GSC-corpus 的荷兰语部分上评估模型，分类准确度为 54.7%，1 - 距离准确度为 69.8%。对无标签的患者支持论坛数据进行案例研究发现，模型受到前置实体识别步骤质量的限制。对小样本进行手动评估发现，正确提取的实体中约 65% 与本体中的正确概念相关联。结果表明，与英语以外的其他语言进行生物医学实体链接仍具有挑战性，但我们的荷兰模型可用于对患者生成的文本进行高级分析。

May, 2024

SMedBERT：一种具有结构化语义的知识增强预训练医学文本挖掘语言模型

本文介绍了 SMedBERT，一种从邻居的链接实体中融入深度结构化语义知识的医学预训练语言模型。实验证明，SMedBERT 在各种知识密集型的中文医学任务中明显优于强基线，并且还提高了其他任务的性能，如问题回答，问题匹配和自然语言推理。

Aug, 2021

使用知识优化生物医学预训练语言模型

提出 KeBioLM 这一生物医学语言 pretrained language model，该模型明确利用了来自 UMLS UMLS knowledge bases 知识库的知识，取得了名词实体识别和关系提取的不错效果。

Apr, 2021

BIOptimus：使用课程学习预训练最佳生物医学语言模型于命名实体识别

本研究通过比较不同的预训练方法，包括从头开始预训练生物医学语言模型和在连续环境中预训练模型，并利用 BERT 模型内上下文中的现有权重提炼初始化新标记的权重，加快预训练阶段并提高命名实体识别性能；此外，我们还比较了掩码率、损坏策略和掩码策略对生物医学语言模型性能的影响；最终，我们通过课程学习和上下文化权重提炼方法提出了一种新的生物医学语言模型 (BIOptimus)，在多项生物医学命名实体识别任务中创造了新的技术水平

Aug, 2023

基于三元注意力预训练的生物医学实体链接

将基因组学实体链接到自然语言处理任务中，提出了一种使用知识图谱信息预训练生成式大型语言模型的新框架。

Aug, 2023

UMLS-KGI-BERT: 基于数据中心的转换器中的生物医学实体识别知识集成

通过从 UMLS 中提取文本序列，该工作为丰富生物医学变压器编码器的语言表示做出了数据为中心的范例贡献，从而将基于图的学习目标与掩码语言预训练相结合，初步实验结果表明该框架提高了多个生物医学和临床命名实体识别任务的下游性能。

Jul, 2023

基于 BERT 的生物医学实体标准化排名

本研究中，我们提出了一种实体归一化架构，通过微调预训练的 BERT/BioBERT/ClinicalBERT 模型，并使用三种不同类型的数据集进行了广泛的实验，评估了预训练模型用于生物医学实体归一化的有效性。我们的实验结果表明，最佳微调模型始终优于以前的方法，并提高了生物医学实体规范化的最新水平，精确度提高了高达 1.17％。

Aug, 2019

医学实体链接的轻量级神经模型

本研究提出了一种轻量级神经方法，利用对齐层和注意力机制来捕捉提到与实体的不同名称变化，以解决生物医学概念链接中同一实体具有各种名称变体的挑战，并且在标准评估基准上证明该模型表现竞争力。

Dec, 2020

BioBERT：用于生物医学文本挖掘的预训练生物医学语言表示模型

本文介绍了如何将自然语言处理 (NLP) 中最新的预训练语言模型 BERT 应用于生物医学文献的文本挖掘，并提出了一种自然语言处理 (BioBERT) 模型用于生物医学文本挖掘，该模型在以前的生物医学文本挖掘任务中表现得比 BERT 好并且公开了该模型的预训练权重以及源代码。

Jan, 2019