医疗人工智能中的泛化问题:发展可扩展模型的视角
本研究基于多中心临床时间序列和医学影像数据,评估了8种领域泛化方法在现实世界医学成像数据上的性能,并对真实性产生的领域偏差和采样偏差而进行模拟压力测试,发现当前领域泛化方法在现实世界医学成像数据上的表现并不总是能够显著提升。然而,在临床时间序列数据的某些真实性突出情景下,这些领域泛化方法确实会呈现出一定的性能提升,建议在临床环境中采用最佳实践方法来进行领域泛化。
Mar, 2021
通过相互重构和正交投影步骤,提出了新的域泛化方法ManyDG来解决医疗保健任务中患者特征数据对模型训练的影响问题,实验表明该方法可以显著提高多个真实世界医疗保健任务的泛化性能。
Jan, 2023
本文通过探究机器学习中三种主流学习方法,即领域/任务特殊化学习,联合学习,以及连续学习,并运用VLMs这一良好的跨领域学习模型作为医学基础模型,得到了在不同领域/任务测试集中的十分出色的泛化性能,并提出连续学习可能是构建医学基础模型的一种切实可行和高效的学习范式。
Mar, 2023
本研究使用四个数据来源的数据,评估深度学习模型在不同医院的准确性,在模型性能方面,多数据来源模型表现相当,明确优化模型的方法并没有显著提高性能。
Mar, 2023
本篇综述回顾了人工通用智能模型在医疗保健中的潜在应用,重点关注了基于大型自然语言模型、大型视觉模型和大型多模态模型的基础,强调了整合临床专业知识、领域知识和多模态能力到人工通用智能模型中的重要性,并阐述了指导医疗保健人工通用智能模型开发和部署的关键路线图,提供了有关在医疗领域部署大规模人工通用智能模型所面临的潜在挑战和风险的关键观点。该综述旨在为人工通用智能在医学影像、医疗保健及其他领域的未来可能应用提供启示。
Jun, 2023
医学图像分析(MedIA)是医学和医疗中不可或缺的工具,对疾病诊断、预测和治疗计划有所助益,深度学习(DL)取得的重大成就对其发展作出了显著贡献。然而,用于MedIA的DL模型在实际情况中仍然具有挑战性,在训练和测试样本之间的分布差异下无法进行泛化,也即所谓的分布偏移问题。本文综述了专门针对MedIA的领域泛化研究,全面地回顾了领域泛化技术在更广泛的MedIA系统中的相互作用,超越方法论,考虑到对整个MedIA工作流程的操作影响。具体而言,我们将领域泛化方法分为数据级、特征级、模型级和分析级方法。我们展示了这些方法如何在MedIA工作流程的不同阶段中使用,从数据获取到模型预测和分析。此外,我们还包括了用于评估这些方法的基准数据集和应用,并分析了各种方法的优缺点,揭示了未来的研究机会。
Oct, 2023
利用临床数据训练的大型语言模型在医疗保健领域提供了优化患者护理、临床决策和工作流程的新机会,然而其潜力主要取决于其在不同临床环境和患者群体中有效泛化的能力,这是一个常常被低估的挑战。本研究评估了一种在[HOSPITAL]的临床病历上训练的语言模型的性能,并发现其在少样本的医院、政府和未指定保险的患者、老年人以及多重共病者中的泛化能力较差。通过统计和分类分析,我们发现样本大小、患者年龄、共病程度和病历内容的字数都与泛化能力相关。最后,我们比较了三种方法以提高泛化能力:本地微调(针对特定医院)、实例化增强微调、和基于聚类的微调。结果表明,本地微调是最有效的方法,可以使AUC提高0.25%到11.74%(在数据有限的情况下效果最好)。总体来说,本研究为在医疗保健这一重要领域部署大型语言模型提供了新的见解,并改进了它们在更广泛人群中的性能。
Feb, 2024
近年来,我们不断发展了大量用于医学图像分析的深度学习模型,但仍然存在诸多挑战,如模型泛化性能、性能下降原因和如何克服性能下降等。本研究回顾了基于深度学习的分类模型的泛化方法,并讨论了未来的挑战,包括改进评估协议和基准以及实现稳健、泛化的医学图像分类模型的未来发展。
Mar, 2024
该研究提供了一个全面的基准测试,用于多样化评估医学图像分类的常见卷积神经网络和Transformer-based模型,并发现计算效率高的训练方案和现代基础模型在减少昂贵的端到端训练和资源精细的方法之间具有潜力。此外,研究结果表明,较高分辨率未必在一定阈值之上始终提高性能,提倡在原型阶段尤其使用较低分辨率以加快处理速度。同时,该研究也确认了卷积模型与ViT-based模型的竞争力,强调了不同模型架构的内在能力的重要性。希望该研究的标准化评估框架能够提高MedMNIST+数据集以及未来研究的透明度、可复现性和可比性。
Apr, 2024
本研究针对大型语言模型(LLMs)在医疗领域应用中的挑战进行了深入探讨,提出了一个综合框架以指导医疗AI应用的开发。其关键发现是,通过建立三步框架,能够有效优化医疗工作流程并提升模型性能,为有效推动医疗AI的实现提供了实用路径。
Oct, 2024