Jan, 2024
探索基础模型在眼底图像上的迁移性：应用于高血压性视网膜病变
Exploring the Transferability of a Foundation Model for Fundus Images: Application to Hypertensive Retinopathy
Julio Silva-Rodriguez, Jihed Chelbi, Waziha Kabir, Hadi Chakor, Jose Dolz...
TL;DR使用基于 Imagnet 预训练的深度学习模型是处理医学图像分类中数据稀缺性的传统解决方案。然而，相关文献支持此策略可能由于领域之间的高差异性而带来有限的增益。目前，适应领域专业化基础模型的范式证明是一种有前景的替代选择。本文通过 CGI-HRDC 高血压性视网膜病变诊断的眼底图像挑战赛，评估了最近发布的视觉 - 语言基础模型 FLAIR 的可迁移性。我们探索了使用 FLAIR 特征作为眼底图像分类的起点的潜力，并将其性能与基于 Imagenet 初始化的两种流行的迁移学习方法（线性探测和微调）进行了比较。我们的实证观察表明，在任何情况下，传统策略的使用都提供了性能增益。相比之下，直接从 FLAIR 模型进行迁移可以获得 2.5% 的增益。当对整个网络进行微调时，性能差距增加到 4%。在这种情况下，我们展示了通过使用分类器的线性探测初始化避免特征退化，以最佳方式重用丰富的预训练特征。尽管使用线性探测的直接迁移性仍然提供有限的性能，但我们相信 FLAIR 等基础模型将推动基于深度学习的眼底图像分析的发展。