EHRXQA:一种基于电子健康记录和胸部 X 射线图像的多模态问答数据集
该研究开发了第一个多模式药物电子健康记录问答数据集,其中包含从公开可用的电子健康记录中结构化表格和非结构化笔记中提取的问答对。研究目的是为多模式问答系统提供基准数据集,并通过使用非结构化临床数据的上下文来改善电子健康记录结构化数据上的问答。
May, 2022
我们提出了一种新的文本到 SQL 数据集,用于电子健康记录(EHRs)。该数据集提供了一个挑战,需要模型可以生成反映医院需求范围的 SQL 查询,包括简单检索和复杂操作,如计算生存率,同时需要理解时间表达式以回答与时间敏感相关的问题,并根据预测置信度区分问题是否有答案,以发展和评估结构化 EHR 数据上的 QA 模型并迈向文本到 SQL 研究和医疗保健方面部署之间的缩小差距。
Jan, 2023
MedXChat 是一个用于医学助理和用户之间无缝互动的统一多模态大型模型,包括 CXR 到报告生成、基于 CXR 的视觉问答和文本到 CXR 合成三个关键功能。该模型在医学多模态应用中显示出优异的跨任务适应性,并在 MIMIC 数据集上的性能超越了基准模型。此外,该研究还介绍了一种创新的文本到 CXR 合成方法,利用了 Stable Diffusion(SD)架构内的指令跟随能力,无需额外参数,使模型能够生成高保真度的精细化医学图像。详尽的实验证实了 MedXChat 在所有任务上的协同增强效果。研究中的指令数据和模型将开源。
Dec, 2023
通过重新利用其他 NLP 任务的现有注释,我们提出了一种新的方法来生成特定领域的大规模问答(QA)数据集。我们利用社区共享的 i2b2 数据集中临床笔记的现有专家注释,生成了大规模的电子医疗记录 QA 数据集 emrQA,其中包含 100 万个问题 - 逻辑形式对和 40 多万个问题 - 答案证据对,并通过基线模型训练来探索其学习潜力。
Sep, 2018
该研究对现有关于电子病历问答的工作进行了方法学综述,发现电子病历问答是相对较新且未被充分探索的研究领域,对于电子病历问答数据集和模型的使用进行了分析。
Oct, 2023
利用多模态大型语言模型、少样本训练提示、视觉定位将影像与电子病历数据结合,该研究提出了 MedPromptX 模型,用于胸部 X 射线诊断,有效提高了异常的识别能力。
Mar, 2024
机器阅读理解在医疗问答系统中发挥着重要作用,本研究通过整合专门的医学数据集和创建专用数据集的方法,提高了问答系统的准确性,为临床决策和医学研究的进展做出贡献。通过对 BERT、RoBERTa 和 Tiny RoBERTa 等模型进行微调,显著提高了对医学内容的响应准确性。
Apr, 2024
本文介绍了一个名为 “MultiModalQA (MMQA)” 的数据集,该数据集需要通过对文本、表格和图像的联合推理来回答问题。作者还创建了一个新框架来生成复杂的多模态问题,并演示了多模态多跳方法在解决这一任务中的必要性。
Apr, 2021
该研究调查了将多样的患者数据源整合到多模态语言模型中,用于自动化胸部 X 射线报告生成。通过使用 MIMIC-CXR 和 MIMIC-IV-ED 数据集,该研究通过整合详细的患者信息,如不定期的生命体征、药物和临床病史,将异质数据源转化为嵌入向量,从而显著提高了生成放射学报告的诊断准确性。全面的评估显示了使用更广泛的患者数据的好处,强调了通过将多模态数据整合到胸部 X 射线报告生成中可以提高诊断能力和改善患者预后的潜力。
Jun, 2024