Med-BERT 是一种基于 BERT 框架训练的语境嵌入模型，适用于在数据集较小的情况下预测疾病。通过电子病历研究心力衰竭和胰腺癌的预测，表明 Med-BERT 具有较高的准确性和泛化性能，可以大幅提升深度学习模型的性能和推广医疗人工智能的发展。

May, 2020

本研究介绍了 BEHRT：一种深度神经序列转导模型，可用于 EHR（电子病历）的多任务预测和疾病轨迹映射，提供高精度的个性化疾病预测，并可通过其注意力机制提供疾病轨迹的个性化视角。

Jul, 2019

该研究介绍了如何通过引入基于循环层或其他 Transformer 的单输出层对长文本进行 BERT 模型的微调，成功将其应用于客户电话满意度预测和话题分类任务中，并在两个任务中取得了显著的改进。

Oct, 2019

本研究证明了一种简单可扩展的方法，使用已有的 Transformer 模型（如 BERT）处理长文本在 ICD 编码上的表现明显优于以往，比 CNN-based 模型更为出色。

Nov, 2022

本文使用双向转换器（ClinicalBERT）开发和评估了临床笔记的表示方法，该方法发现了医学概念之间的高质量关系，并在 30 天医院再入院预测方面优于基线，使用的数据为出院小结和重症监护室的前几天的笔记。

Apr, 2019

本研究中，我们提出了一种实体归一化架构，通过微调预训练的 BERT/BioBERT/ClinicalBERT 模型，并使用三种不同类型的数据集进行了广泛的实验，评估了预训练模型用于生物医学实体归一化的有效性。我们的实验结果表明，最佳微调模型始终优于以前的方法，并提高了生物医学实体规范化的最新水平，精确度提高了高达 1.17％。

Aug, 2019

通过使用 Bio-Bert 模型进行实体标记，我们的模型在医疗领域的数据集上取得显著的性能提升。

Dec, 2020

本论文提出一个新型的多模态变压器，用于融合医疗记录数据和医生的述职记录来预测住院死亡率，并使用可视化方法展示关键的医疗记录和医疗数据特征，进而提高了诊断的可解释性和预测的精度。

Aug, 2022

我们提出机器学习算法，利用纵向结构化的电子健康记录（EHR）自动检测和预测氯吡格雷治疗的失败。通过将自然语言和结构化 EHR 进行类比，我们引入了自然语言处理（NLP）应用中使用的各种机器学习算法来构建处理失败检测和预测的模型。在此方面，我们从英国生物库中生成了一个患有氯吡格雷处方的患者队列，并注释了患者在首次氯吡格雷处方的一年内是否发生处理失败事件；在 502,527 名患者中，1,824 名患者被确定为处理失败病例，6,859 名患者被视为对照病例。从数据集中，我们将患者的诊断、处方和程序记录整合到相同日期的访问中来构建模型。模型为两个不同的任务，即检测和预测构建，实验结果显示在这两个任务中，时间序列模型优于词袋方法。特别是，一种基于 Transformer 的模型，即 BERT，在检测任务中可达到 0.928 的 AUC，而在预测任务中可达到 0.729 的 AUC。当没有足够的训练数据时，BERT 还显示出优势，因为它利用使用大量未标记数据的预训练过程。

Oct, 2023

本文提出了一种使用域适应来适应 DeBERTa 模型用于电子医疗记录任务的方法，并在包括 MIMIC-III 出院摘要和 PubMed 摘要在内的数据集上对其进行预训练。结果表明，该方法在紧急部门结果的三项基准测试任务中表现优于其他模型，并使用描述性列名来提高性能。

Mar, 2023