IRFundusSet:一套集成统一健康标签的视网膜成像数据集
我们使用全局可解释性方法建立了一个多疾病的深度学习模型来检测超广角成像中的视网膜疾病,发现在这些图像中最重要的区域是后极区域,只利用后极区域周围10%的图像即可实现与使用整个图像相当的性能。
Mar, 2022
本文介绍了一种采用手机作为数据采集设备的视觉调节分类视频数据集,通过空间和时间注释,在血管分割领域有着广泛而精确的应用,并希望对眼部疾病的诊断和早期预防有所贡献。
Jul, 2023
FLAIR是一个用于通用视网膜底层图像理解的预训练视觉语言模型,它整合了专家领域知识,具有强大的泛化能力和优于全面训练模型的性能,尤其在少样本情况下,FLAIR表现出色。
Aug, 2023
在医学影像领域,由于隐私限制导致大规模数据集的稀缺性成为开发大型医学模型的重要障碍。为解决这个问题,我们引入了SynFundus-1M,这是一个高质量的合成数据集,包含超过100万张视网膜底部图像以及详尽的疾病和病理学注释。SynFundus-1M是由去噪扩散概率模型生成的,并且SynFundus-Generator和SynFundus-1M在主流公开真实数据集上的优秀Frechet Inception Distance(FID)分数超过了现有方法。此外,眼科医生的评估验证了辨别这些合成图像与真实图像的困难程度,进一步证实了SynFundus-1M的真实性。通过大量实验证明,卷积神经网络(CNN)和视觉转换器(ViT)都可以从SynFundus-1M的预训练或直接训练中获益。相比ImageNet或EyePACS等数据集,使用SynFundus-1M训练的模型不仅在各种下游任务上表现更好,并且收敛速度更快。
Dec, 2023
该研究介绍了一种用于增强医学图像领域普适性的新框架,特别关注于利用未标记的多视角彩色底片照片。与依赖单视图成像数据且在不同临床场景中通用性有挑战的传统方法不同,我们的方法利用未标记的多视角成像数据中的丰富信息来提高模型的稳健性和准确性。通过结合类别平衡方法、测试时间适应技术和多视角优化策略,我们解决了常常影响机器学习模型在实际应用中性能的关键问题——领域偏移。与现有基线方法和最先进方法相结合,实验证明我们的方法在与其它领域普适性和测试时间优化方法的比较中始终表现出色。我们还展示了我们的在线方法改进了所有现有技术。我们的框架改进了领域普适性能力,通过促进对新的未知数据集的在线适应,为实际部署提供了实用解决方案。我们的代码可在此 https URL 中获得。
Mar, 2024
提出了MM-Retinal基金us图像分析模型,该模型通过多模态数据集以及KeepFIT知识增强基础预训练模型,实现了六个未见任务中的最先进性能,并在零样本和少样本场景中展现了出色的泛化能力。
May, 2024
本文开发了一种 CLIP 风格的视网膜图像基础模型 RET-CLIP,该模型在193,865名患者的数据集上进行特训,能够在四个关键的诊断类别中优于现有基准,包括糖尿病视网膜病变,青光眼,多疾病诊断和多疾病的多标签分类。
May, 2024
本研究关注于如何通过数据为中心的方法改进视网膜图像中的青光眼筛查,并通过多个标注者的信息进行个性化标签平滑处理,从而提高模型性能。
Jun, 2024
本文介绍了一种使用超过400种眼底疾病信息的视网膜视觉语言基础模型(RetiZero),该模型通过收集341,896幅眼底图像和相关文本描述,从29个公开数据集、180本眼科书籍和在线资源中获取。RetiZero在零样本视网膜疾病识别、图像检索、内部领域和跨领域视网膜疾病分类以及有限样本微调等各种下游任务中取得了出色的性能,并能在不需要重新训练模型的情况下,通过零样本和图像检索方法实现与有经验的眼科医生相媲美的临床评估,从而加强了RetiZero基础模型在临床实施中的应用能力。
Jun, 2024
本研究解决了医疗数据通用人工智能模型缺乏有效性的问题,开发了一个眼底特定的预训练模型,专注于检测眼底图像中的异常。该模型在多个下游任务中表现出优越的性能,显著提升了深度学习模型在眼底成像领域的效率和准确性。
Aug, 2024