Mar, 2023

适应预训练语言模型以解决电子病历中的表格预测问题

PDF
TL;DR本文提出了一种使用域适应来适应 DeBERTa 模型用于电子医疗记录任务的方法，并在包括 MIMIC-III 出院摘要和 PubMed 摘要在内的数据集上对其进行预训练。结果表明，该方法在紧急部门结果的三项基准测试任务中表现优于其他模型，并使用描述性列名来提高性能。
debertaelectronic health recorddomain adaptationmimic-iiiemergency department outcomes
发现论文，激发创造
  • Med-BERT: 基于大规模结构化电子病历的预训练上下文化嵌入，用于疾病预测

    Med-BERT 是一种基于 BERT 框架训练的语境嵌入模型，适用于在数据集较小的情况下预测疾病。通过电子病历研究心力衰竭和胰腺癌的预测，表明 Med-BERT 具有较高的准确性和泛化性能，可以大幅提升深度学习模型的性能和推广医疗人工智能的发展。

    May, 2020

  • 使用语言模型预训练的医疗命名实体识别模型

    本文介绍了一种从非结构化电子医疗记录中提取结构化信息的方法，该方法通过自然语言处理技术和网络注释工具的组合应用，优化了使用少量训练数据训练的定制命名实体识别模型的性能，并展示了该技术与现有方法相比的优势。研究结果表明，在仅使用 50% 的训练数据的情况下，我们的方法训练的模型的 F1 得分可达到 0.734，而当前流行的方法训练的不带语言模型组件的 spaCy 模型的 F1 得分为 0.704。

    Oct, 2019

  • 多模态转换器：将临床记录与结构化电子病历数据融合，可解释的住院死亡率预测

    本论文提出一个新型的多模态变压器，用于融合医疗记录数据和医生的述职记录来预测住院死亡率，并使用可视化方法展示关键的医疗记录和医疗数据特征，进而提高了诊断的可解释性和预测的精度。

    Aug, 2022

  • 利用语言模型预训练改进临床病历的层级病人分类

    提出了一种预先训练的层级循环神经网络模型，通过解析最小处理的临床记录，比传统方法更好地处理了医疗信息技术中的出院诊断分类任务，并应用归因技术来确定模型用于进行预测的单词以及其重要性。

    Sep, 2019

  • 公开可用的临床 BERT 嵌入

    本文探讨了基于词汇的上下文嵌入模型在临床领域的应用，发现相对于通用语料库，专业领域语料库下的 BERT 模型在三个典型的临床自然语言处理任务上表现更加出色。

    Apr, 2019

  • 多模态电子健康记录的分层预训练

    介绍了一种适用于层次多模式电子健康记录数据的新型、通用的预训练框架 MEDHMP，通过在八个涵盖三个级别的下游任务上的实验结果以及与 18 个基线的比较，证明了该框架的有效性。

    Oct, 2023

  • 用于患者预后预测的文本数据增强

    本文研究提出一种新的文本数据增强方法，利用 GPT-2 生成病人电子病历中的临床记录作为额外的训练数据，用于预测病人的不良预后，实验证明了该数据增强方法的有效性。

    Nov, 2022

  • 如何利用多模态电子病历数据进行更好的医学预测？

    本文提出了一种从医疗电子健康系统中提取伴随临床记录的方法，并使用这些数据综合研究了不同模型和数据利用方法对于更好的医疗任务预测的影响。结果表明，我们的融合模型优于不包含临床记录的最新方法，这证明了我们的融合方法的重要性和临床注意点特征的价值。

    Oct, 2021

  • 可扩展和准确的电子健康记录深度学习

    使用电子健康记录进行循证医学和准确预测，通过 Fast Healthcare Interoperability Resources (FHIR) 格式表示病人的原始病历记录，并使用深度学习方法进行多中心的多个医疗事件预测，包括住院死亡率、未经计划的 30 天再入院率、医院停留时间延长、所有患者的最终出院诊断等。

    Jan, 2018

  • 探究医疗文本到 SQL 模型和数据集的泛化能力

    通过在医疗文本转 SQL 数据集上创建新的数据集，研究人员展示了当前自然语言处理模型在医疗领域的性能稳定性有待提高，并提出了一种新的数据增强方法来改善这个问题。

    Mar, 2023