Jun, 2023

基于基础模型的医学图像分析的挑战和展望

PDF
TL;DR本文讨论了大规模预训练模型，即基础模型，用于分析医学图像的机遇、应用和未来方向。具体而言，我们说明了医学基础模型的 “光谱”，从一般的视觉模型、模态特异性模型到器官 / 任务特异性模型，强调它们的挑战、机会和应用，以此来提高医学图像分析的准确性和效率，从而促进更加精确的诊断和治疗决策。
发现论文，激发创造
  • 医学影像学中的基础模型：综合调查与未来视野

    通过提供医学成像领域基础模型的综合概述，本调查旨在帮助研究人员了解基础模型的基本概念、培训策略、计算要求以及在医学图像分析方面的机会、应用和未来发展方向。

    Oct, 2023

  • 何时称为基础模型的基础模型

    最近，在医学领域中，有几项研究报道了利用像推特和 PubMed 这样的在线数据来源中的图像对基础模型进行微调以进行图像 - 文本建模。基础模型是能够通过在非常广泛的数据集上训练来学习特定领域上下文的大型深度人工神经网络。通过验证，我们观察到，与显著较小的传统深度网络生成的表示相比，这些模型生成的表示在数字病理学的检索任务中表现出较差的性能。

    Sep, 2023

  • MedFMC：医学图像分类基础模型适应实际数据集与基准测试

    本文旨在研究如何将基础模型应用于医学图像分类，并提出一种新的数据集和评估基准来检查基础模型在一组不同真实世界临床任务上的总体表现。

    Jun, 2023

  • 医学基础模型综述

    基于自我监督方法使用大规模数据集训练的基础模型（FMs）被广泛应用于各个领域，包括医疗保健领域，特别在自然语言处理、医学图像分析、临床大型语言模型和病理组学数据等方面。该综述论文全面概述了 FMs 在医疗保健领域的历史、学习策略、旗舰模型、应用和挑战，并提供了详细的医疗应用分类，同时讨论了 FMs 所面临的挑战和未来研究方向。

    Jun, 2024

  • 自然领域基础模型在医学图像分类中是否有用？

    通过对五种先进的基础模型（SAM、SEEM、DINOv2、BLIP 和 OpenCLIP）在医学图像分类任务中的可转移性进行评估，我们的研究显示了混合的结果。尽管 DINOv2 在不断超越 ImageNet 预训练的标准实践方面表现出色，但其他基础模型未能始终超越此已建立的基线，这表明它们在医学图像分类任务中的可转移性存在限制。

    Oct, 2023

  • 前列腺成像分割基础模型的经验分析

    对于医学图像分割的基础模型 UniverSeg 进行了实证评估研究，与传统的任务特定分割模型进行了比较，结果和讨论凸显了发展和采用基础模型在医学图像分割领域中的重要因素。

    Jul, 2023

  • 临床基础建模的不稳定基础：大型语言模型和 EMR 基础建模调查

    本文回顾了 80 多个非成像电子医疗记录基础模型并创建了一个分类法以区分它们的结构、训练数据和潜在用例。作者们发现，大多数模型是在小型、局限性临床数据集（例如 MIMIC-III）或广泛的公共生物医学语料库（例如 PubMed）上进行训练的，并且评估任务不能提供对其对医疗系统有用性的有意义见解。基于这些发现，作者提出了一个更加贴近医疗保健重要指标的评估框架，用于衡量临床基础模型的好处。

    Mar, 2023

  • 将预训练的视觉语言基础模型应用于医学图像领域

    本研究旨在将大型预训练基础模型的表现能力扩展到特定的医疗概念中，通过研究 Stable Diffusion 模型的子组件，进而生成医学影像，并通过定量和定性的方法对模型效果进行评估。

    Oct, 2022

  • 基础模型的机遇与风险

    AI 基础模型的兴起，具有广泛数据训练和可适应下游任务的特点，其机制、应用和社会影响需要更多的跨学科合作来研究。

    Aug, 2021

  • 基于基础模型的放射学内容医学图像检索应用

    通过基于内容的图像检索（CBIR）系统中使用视觉基础模型作为功能强大且多用途的成品特征提取器，我们在包含 160 种病理学的 4 种模式的 160 万个二维放射学图像的综合数据集上进行基准测试，从而确定弱监督模型在性能上超越专门化模型，达到了 0.594 的 P@1，而且无需精调。研究还探讨了在获取病理学和解剖结构方面的挑战，表明准确获取病理学特征更加困难。尽管存在这些挑战，我们的研究强调了基础模型在放射学的 CBIR 中的巨大潜力，提出了向不需要特定调整的多用途医学图像检索系统的转变。

    Mar, 2024