关于医学图像分析的通用视觉基础模型：基于 DINOv2 的放射学基准实验研究

Dec, 2023

关于医学图像分析的通用视觉基础模型：基于 DINOv2 的放射学基准实验研究

Towards General Purpose Vision Foundation Models for Medical Image Analysis: An Experimental Study of DINOv2 on Radiology Benchmarks

PDF

Mohammed Baharoon, Waseem Qureshi, Jiahong Ouyang, Yanwu Xu, Kilian Phol...

TL;DR本研究全面评估了基于自学习的 DINOv2 模型在放射学领域的应用，通过超过 100 个实验在不同模态下进行疾病分类和器官分割等任务，发现 DINOv2 在分割任务中表现优越，在疾病分类中具有竞争力的结果。这些发现为优化医学影像的预训练策略和加强 DINOv2 在自然图像与放射图像分析之间的桥梁作用提供了深入的见解。

Abstract

The integration of deep learning systems into the medical domain has been hindered by the resource-intensive process of data annotation and the inability of these systems to generalize to different data distributions. Foundation models, which are models pre-trained on large datasets, h

deep learning systems foundation models dinov2 radiology image analysis medical imaging

发现论文，激发创造

医学影像分类中 ImageNet 预训练深度学习模型与 DINOv2 的比较分析

DINOv2 对于临床数据的性能较 ImageNet 预训练模型较弱，但在公共数据集中表现出色，尤其是在使用冻结机制时。小型化的 DINOv2 模型在不同任务中表现相似，适用于医学图像分类任务并节省资源。

Feb, 2024

通过整体自我监督学习推动面向人体的 AI 在 X 射线分析中的鲁棒性

使用自监督训练的 RayDINO 和小型任务特定适配器达到了最先进的结果，改善了对未见过的人群的泛化能力，同时减轻了偏见，展示了基础模型的真正潜力：多功能性和健壮性。

May, 2024

自然领域基础模型在医学图像分类中是否有用？

通过对五种先进的基础模型（SAM、SEEM、DINOv2、BLIP 和 OpenCLIP）在医学图像分类任务中的可转移性进行评估，我们的研究显示了混合的结果。尽管 DINOv2 在不断超越 ImageNet 预训练的标准实践方面表现出色，但其他基础模型未能始终超越此已建立的基线，这表明它们在医学图像分类任务中的可转移性存在限制。

Oct, 2023

基于基础模型时代的少样本语义分割新基准

在计算机视觉中，我们比较了四种著名的视觉基础模型（DINO V2，Segment Anything，CLIP，Masked AutoEncoders 和在 COCO 数据集上预训练的 ResNet50），发现 DINO V2 在各种数据集和适应方法上始终优于其他模型，突出了其在语义分割任务上的优越适应能力。此外，我们观察到各种适配器方法表现相似，强调了选择稳健特征提取器比适应技术本身的复杂性更为重要，这一发现揭示了在少样本语义分割情境中特征提取的关键作用。此研究不仅为少样本语义分割领域的视觉基础模型的比较性能提供宝贵见解，还强调了稳健特征提取器在该领域的重要性。

Jan, 2024

手术 - DINO：内窥镜手术深度估计的基础模型适配器学习

手术深度估计的成功适应需要考虑手术领域特定的知识，而非仅仅使用基础模型的预训练或简单微调。

Jan, 2024

学习适应基础模型 DINOv2 以应用于胶囊内窥镜诊断

我们介绍了一种名为低秩适应（LoRA）技术的简化方法，用于将基础模型进行自定义，通过将低秩适应学习应用于胶囊内窥镜诊断，取得了令人印象深刻的结果。

Jun, 2024

通用影像编码器 DINOv2 用于医学影像配准

利用一种训练免费的图像编码器，本文介绍了一种新的变形图像配准方法 DINO-Reg，并在医学图像配准领域中取得了第一名的成绩。这是将通用视觉基础模型应用于医学图像配准的首次尝试。

Feb, 2024

将预训练的视觉语言基础模型应用于医学图像领域

本研究旨在将大型预训练基础模型的表现能力扩展到特定的医疗概念中，通过研究 Stable Diffusion 模型的子组件，进而生成医学影像，并通过定量和定性的方法对模型效果进行评估。

Oct, 2022

基于基础模型的医学图像一次性定位和分割

通过测试在自然图像上训练的各种预训练的视觉 Transformer 和稳定扩散模型，本研究证明它们在医学图像的对应问题和语义分割任务上能够取得良好的性能。

Oct, 2023

RAD-DINO: 探索可扩展的医学影像编码器：超越文本监督

在计算机视觉和医学图像领域的多模态系统中，语言监督的预训练被证明是从图像中提取语义有意义特征的有价值方法。然而，由于文本包含的信息有限，得到的特征受到了限制。在医学图像中，这一点尤为严重，因为放射科医生的书面结果侧重于特定观察，而相关图像 - 文本数据的稀缺性增加了挑战。本文通过在仅使用单模态医学图像数据进行预训练，引入了 RAD-DINO，一种基于生物医学图像的编码器，其性能在各种基准测试中比最先进的基于生物医学语言的监督模型取得了相似或更好的表现。

Jan, 2024