基于检索增强生成的大型语言模型在零样本疾病表型分类中的应用
利用传统的基于词典的自然语言处理工具与大型语言模型相结合的新型混合方法,提高了从非结构化临床记录中识别罕见疾病的能力,并显示了从临床记录中识别病患的潜力。
May, 2024
本研究比较了高通量表型化的三种计算方法:基于生成式人工智能的大型语言模型(LLM),利用深度学习进行跨度分类的自然语言处理(NLP)方法,以及将词向量与机器学习相结合的混合方法。采用 GPT-4(一种大型语言模型)的方法表现出卓越性能,表明大型语言模型可能成为医师笔记的高通量表型化的首选方法。
Jun, 2024
针对结构化长期电子健康记录 (EHR) 数据与大型语言模型 (LLMs) 集成时的固有复杂性,本研究调查了像 GPT-4 这样的 LLMs 对 EHR 数据的适应性。特别关注其零样本能力,使其能够在并未明确训练的情况下进行预测。通过考虑特定的 EHR 特征 (如单位和参考范围),采用与临床环境相一致的上下文学习策略,我们的寻求方法能够应对 EHR 数据的纵向、稀疏和知识注入的特性。通过对 MIMIC-IV 和 TJH 数据集进行综合实验,证明了我们精心设计的提示框架下,LLMs 在关键任务 (如死亡率、住院天数和 30 天再入院率) 的预测性能可以提高约 35%,在少样本情景中超越了机器学习模型。我们的研究强调了 LLMs 在提高临床决策能力方面的潜力,尤其是在没有标签数据的紧急医疗情况下,如新发疾病的爆发。可通过此 https URL 获得代码,以便能重现研究结果。
Jan, 2024
使用大型语言模型,本研究探索将结构化的患者就诊数据(例如诊断、实验室和处方)转化为自然语言叙述的可行性,并提出了一种利用不同角色的语言模型代理(预测者代理和评论者代理)的新方法。结果表明,相比传统的监督学习方法,在基于电子健康记录的疾病预测中,使用该方法的大型语言模型能够实现相当不错的少样本性能,暗示其在健康相关应用中的潜力。
Mar, 2024
通过收集来自台湾医院数据库的五年电子健康记录,该研究提出了一个新颖的大型语言多模型(LLMMs)框架,将临床笔记和实验室检测结果的多模态数据结合起来预测慢性疾病风险,观察到将 clinicalBERT 和 PubMed-BERT 与注意力融合相结合可以在多类慢性疾病和糖尿病预测中达到 73% 的准确率,将实验室检测值转化为文本描述后,利用 Flan T-5 模型可以达到 76% 的 ROC 曲线下面积(AUROC),从而显著提高了糖尿病早期预测的准确性。
Mar, 2024
本研究借助新型提示学习方法,将 ChatGPT 模型用于罕见病实体识别当中并与传统微调方法对比,发现在一些罕见疾病和征象实体的识别方面,ChatGPT 能够在只提供一个标记样本的情况下与传统微调方法相媲美,为罕见疾病的诊断和治疗提供了新的可能,但研究人员和临床医生应该审慎对待模型输出并清楚了解其局限性。
Jun, 2023
该研究展示大型语言模型能够通过只有少量的微调,在医疗和健康领域中处理不易表达为文本的各种生理和行为时间序列数据,并对心脏信号分析、身体活动识别、代谢计算和压力报告估计等健康任务进行有意义的推理。
May, 2023
通过结合医学知识图谱和新颖的图模型 Dr.Knows,我们提出一种创新的方法来提高大型语言模型在自动诊断生成领域的能力,从而消除预训练的需要,提高自动诊断生成的准确性。
Aug, 2023
使用大型语言模型(Flan-T5 XXL)从非结构化电子健康记录(EHR)数据中检索和总结与特定查询相关的论据,较传统信息检索方法更受放射科医生欢迎,但面临 LLMs 产生虚构证据的挑战。然而,模型的信心可能指示 LLMs 是否存在虚构,为解决此问题提供了潜在方法。
Sep, 2023
我们提出了一种灵活的促进方法 ——Models-Vote Prompting (MVP),以提高在 Few-Shot Learning (FSL) 环境中 LLM 查询的性能,并通过使用 MVP,在一次性罕见疾病的识别和分类任务上得到了比单个模型更好的结果。我们还发布了一份新颖的罕见疾病数据集,用于 FSL,并通过评估使用 JSON 来自动化生成性 LLM 评估的可行性来解决手动注释所需的时间问题。
Aug, 2023