Oct, 2023

自然领域基础模型在医学图像分类中是否有用？

PDF
TL;DR通过对五种先进的基础模型（SAM、SEEM、DINOv2、BLIP 和 OpenCLIP）在医学图像分类任务中的可转移性进行评估，我们的研究显示了混合的结果。尽管 DINOv2 在不断超越 ImageNet 预训练的标准实践方面表现出色，但其他基础模型未能始终超越此已建立的基线，这表明它们在医学图像分类任务中的可转移性存在限制。
deep learningfoundation modelsmedical image classificationtransferabilityperformance
发现论文，激发创造
  • 关于医学图像分析的通用视觉基础模型：基于 DINOv2 的放射学基准实验研究

    本研究全面评估了基于自学习的 DINOv2 模型在放射学领域的应用，通过超过 100 个实验在不同模态下进行疾病分类和器官分割等任务，发现 DINOv2 在分割任务中表现优越，在疾病分类中具有竞争力的结果。这些发现为优化医学影像的预训练策略和加强 DINOv2 在自然图像与放射图像分析之间的桥梁作用提供了深入的见解。

    Dec, 2023

  • 医学影像学中的基础模型：综合调查与未来视野

    通过提供医学成像领域基础模型的综合概述，本调查旨在帮助研究人员了解基础模型的基本概念、培训策略、计算要求以及在医学图像分析方面的机会、应用和未来发展方向。

    Oct, 2023

  • 基于基础模型的医学图像分析的挑战和展望

    本文讨论了大规模预训练模型，即基础模型，用于分析医学图像的机遇、应用和未来方向。具体而言，我们说明了医学基础模型的 “光谱”，从一般的视觉模型、模态特异性模型到器官 / 任务特异性模型，强调它们的挑战、机会和应用，以此来提高医学图像分析的准确性和效率，从而促进更加精确的诊断和治疗决策。

    Jun, 2023

  • 何时称为基础模型的基础模型

    最近，在医学领域中，有几项研究报道了利用像推特和 PubMed 这样的在线数据来源中的图像对基础模型进行微调以进行图像 - 文本建模。基础模型是能够通过在非常广泛的数据集上训练来学习特定领域上下文的大型深度人工神经网络。通过验证，我们观察到，与显著较小的传统深度网络生成的表示相比，这些模型生成的表示在数字病理学的检索任务中表现出较差的性能。

    Sep, 2023

  • 将预训练的视觉语言基础模型应用于医学图像领域

    本研究旨在将大型预训练基础模型的表现能力扩展到特定的医疗概念中，通过研究 Stable Diffusion 模型的子组件，进而生成医学影像，并通过定量和定性的方法对模型效果进行评估。

    Oct, 2022

  • 基于基础模型时代的少样本语义分割新基准

    在计算机视觉中，我们比较了四种著名的视觉基础模型（DINO V2，Segment Anything，CLIP，Masked AutoEncoders 和在 COCO 数据集上预训练的 ResNet50），发现 DINO V2 在各种数据集和适应方法上始终优于其他模型，突出了其在语义分割任务上的优越适应能力。此外，我们观察到各种适配器方法表现相似，强调了选择稳健特征提取器比适应技术本身的复杂性更为重要，这一发现揭示了在少样本语义分割情境中特征提取的关键作用。此研究不仅为少样本语义分割领域的视觉基础模型的比较性能提供宝贵见解，还强调了稳健特征提取器在该领域的重要性。

    Jan, 2024

  • 基于基础模型的医学图像一次性定位和分割

    通过测试在自然图像上训练的各种预训练的视觉 Transformer 和稳定扩散模型，本研究证明它们在医学图像的对应问题和语义分割任务上能够取得良好的性能。

    Oct, 2023

  • 基础模型的有效时机：利用多光谱图像进行像素级分类的适用性研究

    基础模型在遥感任务中的适用性取决于自监督学习任务与实际下游任务的一致性，而传统机器学习模型在某些场景下表现得更好，尤其是在纹理不适用于分类的任务中。

    Apr, 2024

  • MedFMC：医学图像分类基础模型适应实际数据集与基准测试

    本文旨在研究如何将基础模型应用于医学图像分类，并提出一种新的数据集和评估基准来检查基础模型在一组不同真实世界临床任务上的总体表现。

    Jun, 2023

  • 医学影像分类中 ImageNet 预训练深度学习模型与 DINOv2 的比较分析

    DINOv2 对于临床数据的性能较 ImageNet 预训练模型较弱，但在公共数据集中表现出色，尤其是在使用冻结机制时。小型化的 DINOv2 模型在不同任务中表现相似，适用于医学图像分类任务并节省资源。

    Feb, 2024