Nov, 2023

应急护理的多模式临床基准 (MC-BEC)：评估紧急医学基础模型的综合基准

PDF
TL;DR提出了应急护理多模态临床基准（MC-BEC），这是一个综合性基准，用于使用 2020-2022 年连续监测的超过 100K 个急诊科访问的数据集评估应急护理中的基础模型。 MC-BEC 关注于分钟到天的时间尺度上的临床相关预测任务，包括预测患者恶化、病情处理和急诊访问，并包括了一个带有训练 - 测试分割和评估指标的标准化评估框架。多模态数据集包括广泛的详细临床数据，包括分诊信息、先前诊断和药物、持续测量的生命体征、心电图和光电信号波形、整个访问期间的医嘱和药物管理、成像研究的自由文本报告、急诊诊断、处理和随后再访的信息。我们提供了每个预测任务的性能基准，以便评估多模态、多任务模型。我们相信 MC-BEC 将鼓励研究人员开发更有效、具有普适性和易获得性的多模态临床数据基础模型。
multimodal clinical benchmark for emergency careemergency medicineprediction tasksevaluation frameworkmultimodal clinical data
发现论文，激发创造
  • 应用多模态临床虚拟笔记进行急诊室预测任务的电子病历多嵌入模型（MEME）

    我们介绍了一种多嵌入模型 (Multiple Embedding Model) 用于电子健康记录 (EHR)，该模型将 EHR 视为多模态数据，并使用大型语言模型 (LLM) 来表示 EHR。通过将每个 EHR 模态嵌入到一个统一的框架中，我们展示了 MEME 的有效性，并在多个医院系统的急诊科中应用。结果显示 MEME 的性能优于单模态嵌入方法和传统机器学习方法，但我们也观察到在不同医院机构间的泛化能力方面存在明显限制。

    Jan, 2024

  • 临床时间序列数据的多任务学习和基准测试

    该研究提出了利用来自公开可用的激痛医学信息库（MIMIC-III）数据集的四个临床预测基准，旨在解决机器学习在医疗保健研究中缺乏公开可用基准数据集的问题。

    Mar, 2017

  • 应急科室结果预测的多模态感知语言模型

    本文探讨了多模式语言建模在医疗保健领域的应用，特别是基于急诊科主诉和生命体征文本信息的病人问题和需求预测，通过对 MIMIC-IV ED 数据集的诊断代码预测实验分析，我们发现多模式提高了预测性能，并且对一些疾病类别来说，生命体征具有更强的预测能力，并透过交叉注意层的分析，展示了多模式如何提升模型预测。

    Apr, 2023

  • PE-MVCNet：肺栓塞预测的多视角和跨模态融合网络

    为了提高患者的生存率，该研究提出了一种多模态融合方法来检测肺栓塞。通过集成 CT 肺血管造影和电子病历数据，该方法融合了图像和临床信息，取得了显著的预测效果，从而超越了仅使用单个数据模式的模型。

    Feb, 2024

  • MMCBE：用于作物生物量估计和更多领域的多模态数据集

    通过多视角无人机影像和 LiDAR 点云相结合的数据集，本研究提出了第一个多模态农作物生物量估计数据集，并通过评估现有方法的性能和探索新的潜在应用，如无人机图像下的 3D 农作物重建和新视角渲染，为农作物生物量量化的基准方法和视觉方法的发展提供了支持。

    Apr, 2024

  • RadFusion: CT 和 EHR 的多模式肺栓塞检测的性能和公正性基准测试

    通过整合医学影像和电子健康记录，可以提升肺栓塞分类性能和稳健性，并在不引入不必要误差的情况下，在受保护子群体之间全面评估公平性属性。

    Nov, 2021

  • 在线临床时间序列多模态对比学习

    利用先进的自监督多模式对比学习技术， 注重临床笔记和时间序列，我们引入了一种损失函数：多模式邻域对比损失 (MM-NCL)，展示了我们方法在线预测任务中出色的线性验证和零样本表现。

    Mar, 2024

  • MultiBench: 多模态表示学习的多尺度基准

    MultiBench 是一个系统性和统一化的基准测试，跨越 15 个数据集，10 种模态，20 种预测任务和 6 个研究领域。MultiBench 提供自动化的端到端机器学习流程，简化和标准化数据加载，实验设置和模型评估。随着大量的实践证明，不同研究领域提出的方法可以改善 9/15 数据集的最先进性能。MultiBench 处理了跨模态一般化，复杂性和健壮性的问题，对于未来研究具有重要的挑战性，包括可扩展性到大规模多模态数据集和对现实缺陷的健壮性。

    Jul, 2021

  • 医学时间序列的事件对比学习

    通过引入基于事件的对比学习（EBCL）方法，本文提出了一种用于学习保留关键指标事件之前和之后的异构患者数据的嵌入的方法，并证明相比不利用关键医学事件周围的时间信息的其他表示学习方法，EBCL 产生的模型在包括 30 天再住院、1 年死亡率和 1 周住院时间的关键后续任务的微调性能更好。

    Dec, 2023

  • MELINDA: 生物医学实验方法分类的多模态数据集

    本文介绍了一个新的多模态生物医学实验方法分类数据集 MELINDA，并使用各种最先进的自然语言处理和计算机视觉模型进行了基准测试和分析，结果表明多模态模型优于单模态模型，但仍需要改进，特别是在视觉和语言语义互相理解和转化方面以及在处理低资源域时。该文还发布了数据集和基准测试，以便未来的多模态学习研究，特别是针对科学领域的应用的目标改进的激励。

    Dec, 2020