Jun, 2024

使用包含 400 多种疾病知识的视觉语言基础模型进行常见和罕见的眼底疾病识别

TL;DR本文介绍了一种使用超过 400 种眼底疾病信息的视网膜视觉语言基础模型(RetiZero),该模型通过收集 341,896 幅眼底图像和相关文本描述,从 29 个公开数据集、180 本眼科书籍和在线资源中获取。RetiZero 在零样本视网膜疾病识别、图像检索、内部领域和跨领域视网膜疾病分类以及有限样本微调等各种下游任务中取得了出色的性能,并能在不需要重新训练模型的情况下,通过零样本和图像检索方法实现与有经验的眼科医生相媲美的临床评估,从而加强了 RetiZero 基础模型在临床实施中的应用能力。