上下文感知的最佳传输学习用于视网膜底片图像增强
我们使用全局可解释性方法建立了一个多疾病的深度学习模型来检测超广角成像中的视网膜疾病,发现在这些图像中最重要的区域是后极区域,只利用后极区域周围10%的图像即可实现与使用整个图像相当的性能。
Mar, 2022
FLAIR是一个用于通用视网膜底层图像理解的预训练视觉语言模型,它整合了专家领域知识,具有强大的泛化能力和优于全面训练模型的性能,尤其在少样本情况下,FLAIR表现出色。
Aug, 2023
本研究开发了通用的眼底图像增强网络(GFE-Net),通过利用图像频率信息和自监督表示学习,GFE-Net可以在无监督或额外数据的情况下,准确纠正未知眼底图像并保留视网膜结构,从而实现优越的数据依赖性、增强性能、部署效率和规模泛化能力。
Sep, 2023
使用基于Imagnet预训练的深度学习模型是处理医学图像分类中数据稀缺性的传统解决方案。然而,相关文献支持此策略可能由于领域之间的高差异性而带来有限的增益。目前,适应领域专业化基础模型的范式证明是一种有前景的替代选择。本文通过CGI-HRDC高血压性视网膜病变诊断的眼底图像挑战赛,评估了最近发布的视觉-语言基础模型FLAIR的可迁移性。我们探索了使用FLAIR特征作为眼底图像分类的起点的潜力,并将其性能与基于Imagenet初始化的两种流行的迁移学习方法(线性探测和微调)进行了比较。我们的实证观察表明,在任何情况下,传统策略的使用都提供了性能增益。相比之下,直接从FLAIR模型进行迁移可以获得2.5%的增益。当对整个网络进行微调时,性能差距增加到4%。在这种情况下,我们展示了通过使用分类器的线性探测初始化避免特征退化,以最佳方式重用丰富的预训练特征。尽管使用线性探测的直接迁移性仍然提供有限的性能,但我们相信FLAIR等基础模型将推动基于深度学习的眼底图像分析的发展。
Jan, 2024
通过引入新颖的人群模型和基于距离相关性的解缠结损失函数,我们成功实现了视网膜底图像的控制性和高度逼真的生成,并揭示了患者属性和技术混杂因素在图像生成中的复杂关系。
Feb, 2024
我们的研究聚焦于通过检查眼底图像中的视网膜血管进行疾病的早期诊断。我们利用八个预训练的CNN模型进行基于深度学习的分类,同时应用了可解释的AI技术,如Grad-CAM、Grad-CAM++、Score-CAM、Faster Score-CAM和Layer CAM。通过对多个模型进行评估,我们发现ResNet101具有最高的准确率(94.17%),而EfficientNetB0的准确率最低(88.33%)。对于图像分割,Swin-Unet表现出86.19%的平均像素准确率,而Attention U-Net基于DenseNet201的准确率最低(75.87%)。
May, 2024
提出了MM-Retinal基金us图像分析模型,该模型通过多模态数据集以及KeepFIT知识增强基础预训练模型,实现了六个未见任务中的最先进性能,并在零样本和少样本场景中展现了出色的泛化能力。
May, 2024
通过引入Guided Context Gating注意机制,本研究提出了一种用于有效表示医学图像(特别是视网膜图像)的新方法,相较于现有注意机制,在定位病变上具有更好的效果,并在视网膜病变的严重程度评估中实现了显著的精度提升。
Jun, 2024
本研究解决了医疗数据通用人工智能模型缺乏有效性的问题,开发了一个眼底特定的预训练模型,专注于检测眼底图像中的异常。该模型在多个下游任务中表现出优越的性能,显著提升了深度学习模型在眼底成像领域的效率和准确性。
Aug, 2024
本研究解决了视网膜眼底图像质量不高的问题,尤其是在获取过程中受到系统性缺陷和操作/患者因素的影响。提出了一种基于薛定谔桥框架的图像到图像翻译管道,通过引入动态蛇卷积以更好地保留细微结构,如血管,实现了视网膜图像增强。实验结果表明,该方法在图像质量和下游任务性能上优于现有的多种方法。
Sep, 2024