Med-BERT: 基于大规模结构化电子病历的预训练上下文化嵌入，用于疾病预测

May, 2020

Med-BERT: 基于大规模结构化电子病历的预训练上下文化嵌入，用于疾病预测

Med-BERT: pre-trained contextualized embeddings on large-scale structured electronic health records for disease prediction

PDF

Laila Rasmy, Yang Xiang, Ziqian Xie, Cui Tao, Degui Zhi

TL;DRMed-BERT 是一种基于 BERT 框架训练的语境嵌入模型，适用于在数据集较小的情况下预测疾病。通过电子病历研究心力衰竭和胰腺癌的预测，表明 Med-BERT 具有较高的准确性和泛化性能，可以大幅提升深度学习模型的性能和推广医疗人工智能的发展。

Abstract

deep learning (DL) based predictive models from electronic health records (EHR) deliver impressive performance in many clinical tasks. Large training cohorts, however, are often required to achieve high accuracy,

deep learning electronic health records med-bert disease-prediction artificial intelligence

发现论文，激发创造

基于 BERT 的生物医学实体标准化排名

本研究中，我们提出了一种实体归一化架构，通过微调预训练的 BERT/BioBERT/ClinicalBERT 模型，并使用三种不同类型的数据集进行了广泛的实验，评估了预训练模型用于生物医学实体归一化的有效性。我们的实验结果表明，最佳微调模型始终优于以前的方法，并提高了生物医学实体规范化的最新水平，精确度提高了高达 1.17％。

Aug, 2019

适应预训练语言模型以解决电子病历中的表格预测问题

本文提出了一种使用域适应来适应 DeBERTa 模型用于电子医疗记录任务的方法，并在包括 MIMIC-III 出院摘要和 PubMed 摘要在内的数据集上对其进行预训练。结果表明，该方法在紧急部门结果的三项基准测试任务中表现优于其他模型，并使用描述性列名来提高性能。

Mar, 2023

医学术语嵌入的分层预训练

这篇论文介绍了利用自然语言处理和表示学习生成医学术语的嵌入，以更好的预测临床决策和患者轨迹，提出了一个新的医学术语表示模型 HiPrBERT，并使用层次结构数据来训练和提高嵌入效果。

Jul, 2023

用于定位医学 BERT 和增强生物医学 BERT 的预训练技术

本研究探讨了如何通过对特定语料库的过采样和使用更大的语料库进行预训练，在医学和其他领域中建立高性能的 BERT 模型以提高自然语言处理中信息提取的性能。

May, 2020

BioBERT：用于生物医学文本挖掘的预训练生物医学语言表示模型

本文介绍了如何将自然语言处理 (NLP) 中最新的预训练语言模型 BERT 应用于生物医学文献的文本挖掘，并提出了一种自然语言处理 (BioBERT) 模型用于生物医学文本挖掘，该模型在以前的生物医学文本挖掘任务中表现得比 BERT 好并且公开了该模型的预训练权重以及源代码。