Mar, 2023

ExBEHRT：基于扩展 Transformer 的电子健康记录预测疾病亚型与进展

PDF
TL;DR本研究引入了 ExBEHRT，这是对 BEHRT（应用于电子健康记录的 BERT）进行扩展的一种算法，通过应用不同算法来解释其结果，将特征空间扩展到多个多模态记录，并在不同疾病的各种下游任务中表明附加功能显著提高了模型性能，同时通过对肿瘤患者的模型表示进行聚类，显示了该模型对疾病具有一种隐式理解能力，能够将同一癌症类型的患者分类为不同的风险组。
exbehrtelectronic health recordsmultimodal recordsmodel interpretationexpected gradients
发现论文，激发创造
  • BEHRT: 面向电子健康记录的 Transformer 模型

    本研究介绍了 BEHRT：一种深度神经序列转导模型，可用于 EHR（电子病历）的多任务预测和疾病轨迹映射，提供高精度的个性化疾病预测，并可通过其注意力机制提供疾病轨迹的个性化视角。

    Jul, 2019

  • CORE-BEHRT：一种经过精心优化和严格评估的 BEHRT

    通过优化 BERT 模型的关键设计选择和数据表示方式，研究表明改进数据表示方法以及架构和训练协议可以显著提高基于 BERT 的电子健康档案模型的性能，从而为未来的相关工作奠定了坚实的基础。

    Apr, 2024

  • Med-BERT: 基于大规模结构化电子病历的预训练上下文化嵌入，用于疾病预测

    Med-BERT 是一种基于 BERT 框架训练的语境嵌入模型，适用于在数据集较小的情况下预测疾病。通过电子病历研究心力衰竭和胰腺癌的预测，表明 Med-BERT 具有较高的准确性和泛化性能，可以大幅提升深度学习模型的性能和推广医疗人工智能的发展。

    May, 2020

  • 适应预训练语言模型以解决电子病历中的表格预测问题

    本文提出了一种使用域适应来适应 DeBERTa 模型用于电子医疗记录任务的方法，并在包括 MIMIC-III 出院摘要和 PubMed 摘要在内的数据集上对其进行预训练。结果表明，该方法在紧急部门结果的三项基准测试任务中表现优于其他模型，并使用描述性列名来提高性能。

    Mar, 2023

  • 基于时间感知的异构图变换器与自适应注意力合并的健康事件预测

    通过利用电子健康记录 (EHR) 数据在医学领域的广泛应用，使用深度学习方法在疾病风险预测方面取得了早期成功。然而，现有研究对 EHR 数据的潜力未能充分利用，存在着许多关键问题，如融入疾病领域知识、异构学习疾病表示以及捕捉疾病进展的时间动态等。为了克服这些限制，本研究引入了一种新型的异构图学习模型，旨在融合疾病领域知识，阐明药物和疾病之间错综复杂的关系。该模型创新性地将时间数据融入到访问级嵌入中，并利用一个考虑时间的 Transformer 和自适应注意机制来生成患者表示。经过两个医疗数据集的评估，我们的方法在预测准确性和可解释性方面表现出显著提升，为个性化和主动式的医疗管理迈出了实质性的进展。

    Apr, 2024

  • sEHR-CE: 结构化电子病历语言建模，用于高效和可推广的患者队列扩展

    本文提出了一种基于 Transformers 的新型框架 sEHR-CE，可以在不需要映射的情况下，对异构临床数据集进行集成表型和分析。使用预训练的语言模型来预测疾病表型的准确性高于非文本和单个术语方法，并且用 2 型糖尿病为例说明如何识别没有诊断但具有与患者相似临床特征的个体。

    Nov, 2022

  • BERT 失败时 -- 电子病历分类的限制

    使用 Transformer 能够有效地进行临床决策支持，但是存在预测性能不佳的情况，本文研究了一种预测失败的案例，并报告了导致预测性能差的模式。

    Jul, 2022

  • 基于语义分解技术的大型语言模型在电子健康记录数据上的学习改进

    本文介绍了 H-BERT，该模型采用完整的图树扩展表示 EHR 中的医疗编码，提高了病患归属感的预测，并创建了相关但临床不同表型的患者的不同表示。

    Nov, 2022

  • 使用电子医疗记录的患者诊断预测深度学习管道

    机器学习在疾病诊断和决策方面的应用正变得越来越流行。本文开发了一种 Python 包，将公共卫生数据集转换为易于访问的通用格式，以便于构建有用的疾病诊断预测系统，并提出了两种新的模型架构进行疾病诊断多类别预测，一种使用结构化数字数据，另一种结合自然语言处理方法和可解释的可视化。这些模型都能够高准确度地预测多种诊断。

    Jun, 2020

  • 多模态转换器：将临床记录与结构化电子病历数据融合，可解释的住院死亡率预测

    本论文提出一个新型的多模态变压器，用于融合医疗记录数据和医生的述职记录来预测住院死亡率，并使用可视化方法展示关键的医疗记录和医疗数据特征，进而提高了诊断的可解释性和预测的精度。

    Aug, 2022