May, 2024

EHRMamba：面向电子健康记录的可推广和可扩展的基础模型

PDF
TL;DR通过引入 EHRMamba 和多任务提示微调（MTF）方法，此研究提出了一种基于 Mamba 架构的稳健基础模型，该模型具有较低的计算成本和较长的上下文长度，并且能够同时学习多个临床任务，从而在电子健康记录领域取得了重大突破。
transformerselectronic health recordsehrmambamultitask prompted finetuninghl7 fhir data standard
发现论文，激发创造
  • 关于电子健康记录共享基础模型的适应性的多中心研究

    通过将基础模型应用于医疗保健领域，可使人工智能的开发更具规模性和经济效益。医疗记录的结构化基础模型在数百万患者的记录上训练，表现出了较少训练标签的性能提升以及对分布变化的改进鲁棒性。本研究基于多中心数据研究探讨了这种基础模型的适应性，结果显示在医院间分享模型可提高预测性能并降低成本，进而强调基础模型作为模块化组件在健康保健人工智能开发中的实用性。

    Nov, 2023

  • 可扩展和准确的电子健康记录深度学习

    使用电子健康记录进行循证医学和准确预测，通过 Fast Healthcare Interoperability Resources (FHIR) 格式表示病人的原始病历记录，并使用深度学习方法进行多中心的多个医疗事件预测，包括住院死亡率、未经计划的 30 天再入院率、医院停留时间延长、所有患者的最终出院诊断等。

    Jan, 2018

  • 层级决策曼巴

    通过引入两种新方法，Decision Mamba (DM) 和 Hierarchical Decision Mamba (HDM)，增强了 Transformer 模型的性能，实验证明 Mamba 模型在大多数任务中优于 Transformer 模型，其中 HDM 在大多数环境中表现最好。

    May, 2024

  • MUFASA: 电子病历的多模态融合架构搜索

    本文介绍了一种名为 MUFASA 的多模态融合模型，在电子病历诊断中表现出与传统模型相比具有更高的数据分类准确度。该模型通过结合不同数据模态的表示方法和模型架构的搜索，有效地解决了深度学习模型在电子病历分析中的问题。

    Feb, 2021

  • 多模电子健康记录的自动融合提升医疗预测能力

    我们提出了一种名为 AutoFM 的神经架构搜索（NAS）框架，用于自动搜索对多样输入模态和融合策略进行编码的最佳模型架构，并在真实世界的多模式 EHR 数据和预测任务上进行了彻底实验，结果表明我们的框架不仅在现有最先进的方法上实现了显著的性能改进，还有效地发现了有意义的网络架构。

    Jan, 2024

  • 临床小蟒：横向临床记录的生成式临床语言模型

    在医学领域，为了处理长期病例的复杂信息，我们引入了经过纵向临床笔记巨量预训练的专用语言模型 ClinicalMamba，参数量为 2.8 亿，在建模扩展文本长度方面显示出比 Mamba 和临床 Llama 更优越的性能，且在纵向临床笔记信息提取任务中，通过少样本学习实现了快速而准确的成果，胜过了现有的临床语言模型和 GPT-4 等大规模通用领域模型。

    Mar, 2024

  • 临床时间序列数据的多任务学习和基准测试

    该研究提出了利用来自公开可用的激痛医学信息库（MIMIC-III）数据集的四个临床预测基准，旨在解决机器学习在医疗保健研究中缺乏公开可用基准数据集的问题。

    Mar, 2017

  • 通过分层自回归语言模型合成极高维长期电子医疗记录

    通过提出一种分层自回归语言模型（HALO），我们可以生成长期的高维电子病历，这些病历既保留了真实病历的统计特性，又不会泄露隐私；同时可以用于训练准确的机器学习模型，而无需进行可变量的选择或聚合，从而提高 ML 模型的准确性，并能通过将真实和人造数据进行结合来增强 ML 模型的准确性。

    Apr, 2023

  • SegMamba: 长程序列建模 Mamba 用于三维医学图像分割

    SegMamba 是一种新颖的 3D 医学图像分割模型，通过有效地捕捉各个尺度上的全体积特征的远程依赖性，从状态空间模型的角度在全体积特征建模方面胜过基于 Transformer 的方法，保持出色的处理速度，即使是具有 {$64 imes 64 imes 64$} 分辨率的体积特征。在 BraTS2023 数据集上的综合实验证明了 SegMamba 的有效性和高效性。

    Jan, 2024

  • 电子健康记录预测建模的最新进展

    对基于电子健康记录数据的深度学习预测模型的最新进展进行系统综述，并讨论了预测建模在医疗保健中的挑战、基准和工具，以及未来研究的方向。

    Feb, 2024