本研究介绍了 BEHRT：一种深度神经序列转导模型，可用于 EHR（电子病历）的多任务预测和疾病轨迹映射，提供高精度的个性化疾病预测，并可通过其注意力机制提供疾病轨迹的个性化视角。

Jul, 2019

Med-BERT 是一种基于 BERT 框架训练的语境嵌入模型，适用于在数据集较小的情况下预测疾病。通过电子病历研究心力衰竭和胰腺癌的预测，表明 Med-BERT 具有较高的准确性和泛化性能，可以大幅提升深度学习模型的性能和推广医疗人工智能的发展。

May, 2020

本研究引入了 ExBEHRT，这是对 BEHRT（应用于电子健康记录的 BERT）进行扩展的一种算法，通过应用不同算法来解释其结果，将特征空间扩展到多个多模态记录，并在不同疾病的各种下游任务中表明附加功能显著提高了模型性能，同时通过对肿瘤患者的模型表示进行聚类，显示了该模型对疾病具有一种隐式理解能力，能够将同一癌症类型的患者分类为不同的风险组。

Mar, 2023

本研究中，我们提出了一种实体归一化架构，通过微调预训练的 BERT/BioBERT/ClinicalBERT 模型，并使用三种不同类型的数据集进行了广泛的实验，评估了预训练模型用于生物医学实体归一化的有效性。我们的实验结果表明，最佳微调模型始终优于以前的方法，并提高了生物医学实体规范化的最新水平，精确度提高了高达 1.17％。

Aug, 2019

本文提出了一种使用域适应来适应 DeBERTa 模型用于电子医疗记录任务的方法，并在包括 MIMIC-III 出院摘要和 PubMed 摘要在内的数据集上对其进行预训练。结果表明，该方法在紧急部门结果的三项基准测试任务中表现优于其他模型，并使用描述性列名来提高性能。

Mar, 2023

通过提出 COhort Representation lEarning (CORE) 框架，从患者之间的细粒度 cohort 信息出发，对 EHR 数据表示进行增强学习，以提高患者管理和干预策略在临床实践中的应用，为医疗方法注入集体信息以提高性能。

Apr, 2023

本文提出了 FINEEHR 系统，采用度量学习和微调等两种表示学习技术来优化临床记录的嵌入，以提高预测准确性。使用 MIMIC III 数据集评估 FINEEHR 的表现，结果表明两种嵌入优化方法均能提高预测准确性，同时它们的组合给出了最好的结果，平均 AUC 为 96.04％，平均 AUC-PR 为 96.48％。

Apr, 2023

该研究提出了一种新的基于 EEG 的癫痫检测方法，利用一种基于 BERT 的模型。该模型经历了两个阶段的训练过程，分别在 TUEG 和 CHB-MIT 数据集上进行预训练和微调，以提高检测性能。优化后的模型在降低误报率的同时，取得了显著的性能提升，充分展示了 BERT 模型在 EEG 癫痫检测中的有效性。

Jun, 2024

使用电子健康记录进行循证医学和准确预测，通过 Fast Healthcare Interoperability Resources (FHIR) 格式表示病人的原始病历记录，并使用深度学习方法进行多中心的多个医疗事件预测，包括住院死亡率、未经计划的 30 天再入院率、医院停留时间延长、所有患者的最终出院诊断等。

Jan, 2018

本研究针对 FEVER 事实抽取和验证挑战，探讨了使用预训练语言模型 BERT 实现证据检索和主张验证的方法，并使用 pointwise 和 pairwise 损失函数进行模型训练。实验结果表明，我们的系统在使用 50K Wikipedia 页面的 FEVER 文档进行前五个句子的检索时实现了 87.1 的最新召回率，并在官方排行榜中获得了 FEVER 得分 69.7 的第二名。

Oct, 2019