MedTsLLM:利用大规模语言模型进行多模态医学时间序列分析
该研究通过开发一种名为HeLM的框架,使多模态大型语言模型 (LLMs) 能够使用高维临床模态来估计潜在疾病风险,并且在使用英国生物银行的数据进行验证时,HeLM能够有效地利用人口统计学、临床特征和高维时间序列数据来估计疾病风险。
Jul, 2023
本研究旨在评估大型语言模型(LLMs)在医疗保健中的功效,特别关注它们在个人异常健康监测中的应用。我们的研究主要调查了LLMs在解释和分析来自FDA批准设备获取的生理数据方面的能力。我们在模拟低气压平台环境中进行了广泛的分析,评估了LLMs在理解和评估用户健康状况方面的精确性和可靠性。研究结果表明,LLMs在确定医学指标方面表现出色,心率平均绝对误差小于1次/分,氧饱和度小于1%,而这些评估的平均绝对百分比误差保持在1%以下,总体健康评估的准确率超过85%。在诸如解释光电容积描记法(PPG)数据等图像分析任务中,我们专门适应的GPT模型表现出卓越的能力,心率周期计数误差小于1次/分,心率估算的平均绝对误差为7.28。本研究凸显了LLMs作为健康数据分析工具和先进人工智能健康助手中的关键要素的双重角色,在未来的健康助手框架内提供个性化健康见解和建议。
Nov, 2023
通过发布具有7B和70B参数的开源LLMs套件MEDITRON,我们改进了对大规模医学LLMs的访问,并在多个医学测试中显示出显著的性能提升。与闭源LLMs相比,MEDITRON-70B在GPT-3.5和Med-PaLM上表现优异,并且与GPT-4和Med-PaLM-2相差不到5%和10%。
Nov, 2023
该研究探讨了大规模语言模型在多模态健康预测中的应用,通过上下文信息和生理数据进行综合评估,并展示了 fine-tuned 模型在健康预测任务中的表现和对上下文增强策略的有效性。
Jan, 2024
通过收集来自台湾医院数据库的五年电子健康记录,该研究提出了一个新颖的大型语言多模型(LLMMs)框架,将临床笔记和实验室检测结果的多模态数据结合起来预测慢性疾病风险,观察到将clinicalBERT和PubMed-BERT与注意力融合相结合可以在多类慢性疾病和糖尿病预测中达到73%的准确率,将实验室检测值转化为文本描述后,利用Flan T-5模型可以达到76%的ROC曲线下面积(AUROC),从而显著提高了糖尿病早期预测的准确性。
Mar, 2024
介绍了一种专为医学时间序列分类定制的多粒度补丁变换器Medformer,该方法利用交叉通道补丁、多粒度嵌入、两阶段多粒度自注意等新机制,在多个公共数据集上的实验证明了其在医疗应用中的显著影响。
May, 2024
综述医疗大型自然语言模型(Med-LLM)的进化历史、技术、应用以及对医疗保健的影响,涵盖临床决策支持、报告生成、医学教育等方面,探索其潜力和限制,并讨论公平性、责任感、隐私保护和鲁棒性等挑战,展望未来的发展方向。
Jun, 2024
基于时间序列多模态数据的互补信息挖掘,我们提出了DualTime,一种双适配器多模态语言模型,同时实现了时间为主导和文本为主导的建模,通过注入轻量级适配符号,实现了嵌入对齐并实现了高效微调。实证研究表明,我们的方法在监督和无监督设置中均优于最先进的模型,突显了不同模态的互补优势。此外,我们进行了少样本标签迁移实验,进一步验证了我们提出的DualTime的可迁移性和表达能力。
Jun, 2024
本研究解决了大型语言模型(LLMs)在处理结构化电子健康记录和非结构化临床笔记时的有效性问题。通过基准测试不同模型,发现LLMs在结构化数据上的零-shot预测能力较强,但在非结构化文本任务中,微调的BERT模型表现更优。这一发现强调了根据任务要求和数据特征选择合适模型的重要性,以优化NLP技术在医疗领域的应用。
Jul, 2024
本研究针对在医疗场景中,如何有效集成表格数值数据与大型语言模型(LLM)进行探讨,填补了该领域的研究空白。通过比较LLM的最后隐藏状态生成的向量表示和原始数值电子健康记录数据在传统机器学习算法中的表现,发现尽管原始数据仍具优势,LLM嵌入在医疗预测任务中同样具备竞争力,指向了未来研究的新方向。
Aug, 2024