使用基于 Imagnet 预训练的深度学习模型是处理医学图像分类中数据稀缺性的传统解决方案。然而，相关文献支持此策略可能由于领域之间的高差异性而带来有限的增益。目前，适应领域专业化基础模型的范式证明是一种有前景的替代选择。本文通过 CGI-HRDC 高血压性视网膜病变诊断的眼底图像挑战赛，评估了最近发布的视觉 - 语言基础模型 FLAIR 的可迁移性。我们探索了使用 FLAIR 特征作为眼底图像分类的起点的潜力，并将其性能与基于 Imagenet 初始化的两种流行的迁移学习方法（线性探测和微调）进行了比较。我们的实证观察表明，在任何情况下，传统策略的使用都提供了性能增益。相比之下，直接从 FLAIR 模型进行迁移可以获得 2.5% 的增益。当对整个网络进行微调时，性能差距增加到 4%。在这种情况下，我们展示了通过使用分类器的线性探测初始化避免特征退化，以最佳方式重用丰富的预训练特征。尽管使用线性探测的直接迁移性仍然提供有限的性能，但我们相信 FLAIR 等基础模型将推动基于深度学习的眼底图像分析的发展。

Jan, 2024

本研究旨在将大型预训练基础模型的表现能力扩展到特定的医疗概念中，通过研究 Stable Diffusion 模型的子组件，进而生成医学影像，并通过定量和定性的方法对模型效果进行评估。

Oct, 2022

提出了 MM-Retinal 基金 us 图像分析模型，该模型通过多模态数据集以及 KeepFIT 知识增强基础预训练模型，实现了六个未见任务中的最先进性能，并在零样本和少样本场景中展现了出色的泛化能力。

May, 2024

人工智能在医学影像应用中取得了专家级性能。然而，研究发现目前的视觉语言基础模型在胸部 X 射线诊断中普遍存在算法公平性问题，导致偏见对待历史上被边缘化的群体，并延迟特定人群的重要医疗护理，严重加剧现有的护理差异，对公平医疗保障带来挑战。

Feb, 2024

本文介绍了一种使用超过 400 种眼底疾病信息的视网膜视觉语言基础模型（RetiZero），该模型通过收集 341,896 幅眼底图像和相关文本描述，从 29 个公开数据集、180 本眼科书籍和在线资源中获取。RetiZero 在零样本视网膜疾病识别、图像检索、内部领域和跨领域视网膜疾病分类以及有限样本微调等各种下游任务中取得了出色的性能，并能在不需要重新训练模型的情况下，通过零样本和图像检索方法实现与有经验的眼科医生相媲美的临床评估，从而加强了 RetiZero 基础模型在临床实施中的应用能力。

Jun, 2024

利用 100 万个开放源合成的眼底图像与自然语言描述，构建具有伦理基础的语言 - 图像模型 VisionCLIP，进行视网膜图像分析，并在零样本情况下在三个外部数据集上取得了竞争性能。

Mar, 2024

本文开发了一种 CLIP 风格的视网膜图像基础模型 RET-CLIP，该模型在 193,865 名患者的数据集上进行特训，能够在四个关键的诊断类别中优于现有基准，包括糖尿病视网膜病变，青光眼，多疾病诊断和多疾病的多标签分类。

May, 2024

医疗报告生成需要自动创建连贯准确的医学图像描述。本研究基于最先进的视觉语言预训练和微调方法 BLIP-2，利用适配器调优和医学知识增强损失，显著提高了模型的准确性和连贯性。在 ImageCLEFmedical 2023 的数据集上验证，我们的模型取得了最佳的平均结果，优于几种最先进的方法。ROUGE 和 CIDEr 的显著改进突显了我们方法的有效性，为快速适应视觉语言基础模型以应对数据匮乏的挑战带来了有希望的结果。

Dec, 2023

EyeFound 是一种多模态基础模型，通过学习无标签的多模态视网膜图像，能够有效地适应多个应用程序，并在诊断眼疾、预测全身性疾病事件和多模态问答等方面超越了先前的工作 RETFound，提供了一个通用的解决方案，提高了模型性能，减轻了专家的标注负担，并促进了广泛的临床人工智能应用。

May, 2024

利用多模态视觉语言模型从图像描述和图像中捕捉语义信息，实现对多样化医学图像的分割，并评估其在医学领域的迁移性和基于生成提示的模型性能变化。

Aug, 2023