本文讨论了大规模预训练模型，即基础模型，用于分析医学图像的机遇、应用和未来方向。具体而言，我们说明了医学基础模型的 “光谱”，从一般的视觉模型、模态特异性模型到器官 / 任务特异性模型，强调它们的挑战、机会和应用，以此来提高医学图像分析的准确性和效率，从而促进更加精确的诊断和治疗决策。

Jun, 2023

通过提供医学成像领域基础模型的综合概述，本调查旨在帮助研究人员了解基础模型的基本概念、培训策略、计算要求以及在医学图像分析方面的机会、应用和未来发展方向。

Oct, 2023

通过引入 FairMedFM，一个公平性基准，对医学影像中基础模型的公平性性能进行综合评估，我们揭示了不同 FMs 之间的偏见存在、不同 FMs 的效用与公平性权衡以及现有不公平缓解方法的有限效果。

Jul, 2024

本研究旨在构建放射学基础模型（RadFM），通过数据、模型设计和评估的多方面视角构建基础模型。我们的贡献包括：（一）构建一个大规模的医疗多模态数据集 MedMD，包含 1600 万份 2D 和 3D 医学扫描，这是首个包含 3D 医学扫描的多模态数据集。（二）提出了一种架构，实现可视化条件生成预训练，允许将文本输入与 2D 或 3D 医学扫描相结合，以生成多样化的放射学任务响应。模型首先在 MedMD 上进行预训练，然后在 RadMD 上进行领域特定的微调，RadMD 是 MedMD 的一种经过放射学清理的版本，包含 300 万份放射学视觉语言对。（三）我们提出了一个全面评估基础模型在处理实际临床问题方面能力的新评估基准，包括五个任务。实验结果证实，RadFM 明显优于现有的多模态基础模型。为促进该领域的进一步研究和发展，我们将公开提供代码、数据和模型检查点。

Aug, 2023

通过对五种先进的基础模型（SAM、SEEM、DINOv2、BLIP 和 OpenCLIP）在医学图像分类任务中的可转移性进行评估，我们的研究显示了混合的结果。尽管 DINOv2 在不断超越 ImageNet 预训练的标准实践方面表现出色，但其他基础模型未能始终超越此已建立的基线，这表明它们在医学图像分类任务中的可转移性存在限制。

Oct, 2023

基于自我监督方法使用大规模数据集训练的基础模型（FMs）被广泛应用于各个领域，包括医疗保健领域，特别在自然语言处理、医学图像分析、临床大型语言模型和病理组学数据等方面。该综述论文全面概述了 FMs 在医疗保健领域的历史、学习策略、旗舰模型、应用和挑战，并提供了详细的医疗应用分类，同时讨论了 FMs 所面临的挑战和未来研究方向。

Jun, 2024

本文回顾了 80 多个非成像电子医疗记录基础模型并创建了一个分类法以区分它们的结构、训练数据和潜在用例。作者们发现，大多数模型是在小型、局限性临床数据集（例如 MIMIC-III）或广泛的公共生物医学语料库（例如 PubMed）上进行训练的，并且评估任务不能提供对其对医疗系统有用性的有意义见解。基于这些发现，作者提出了一个更加贴近医疗保健重要指标的评估框架，用于衡量临床基础模型的好处。

Mar, 2023

最近，在医学领域中，有几项研究报道了利用像推特和 PubMed 这样的在线数据来源中的图像对基础模型进行微调以进行图像 - 文本建模。基础模型是能够通过在非常广泛的数据集上训练来学习特定领域上下文的大型深度人工神经网络。通过验证，我们观察到，与显著较小的传统深度网络生成的表示相比，这些模型生成的表示在数字病理学的检索任务中表现出较差的性能。

Sep, 2023

本研究旨在将大型预训练基础模型的表现能力扩展到特定的医疗概念中，通过研究 Stable Diffusion 模型的子组件，进而生成医学影像，并通过定量和定性的方法对模型效果进行评估。

Oct, 2022

通过将基础模型应用于医疗保健领域，可使人工智能的开发更具规模性和经济效益。医疗记录的结构化基础模型在数百万患者的记录上训练，表现出了较少训练标签的性能提升以及对分布变化的改进鲁棒性。本研究基于多中心数据研究探讨了这种基础模型的适应性，结果显示在医院间分享模型可提高预测性能并降低成本，进而强调基础模型作为模块化组件在健康保健人工智能开发中的实用性。

Nov, 2023