Mar, 2024

RetiGen：利用多视场眼底图像进行广义视网膜诊断的框架

PDF
TL;DR该研究介绍了一种用于增强医学图像领域普适性的新框架，特别关注于利用未标记的多视角彩色底片照片。与依赖单视图成像数据且在不同临床场景中通用性有挑战的传统方法不同，我们的方法利用未标记的多视角成像数据中的丰富信息来提高模型的稳健性和准确性。通过结合类别平衡方法、测试时间适应技术和多视角优化策略，我们解决了常常影响机器学习模型在实际应用中性能的关键问题 —— 领域偏移。与现有基线方法和最先进方法相结合，实验证明我们的方法在与其它领域普适性和测试时间优化方法的比较中始终表现出色。我们还展示了我们的在线方法改进了所有现有技术。我们的框架改进了领域普适性能力，通过促进对新的未知数据集的在线适应，为实际部署提供了实用解决方案。我们的代码可在此 https URL 中获得。
domain generalizationmedical imagingmulti-viewcolour fundus photographstest-time optimization
发现论文，激发创造
  • 走向非已知领域中的通用糖尿病视网膜病变分级

    糖尿病视网膜炎分级的关键在于深度学习，解决分布差异问题。

    Jul, 2023

  • 糖尿病视网膜病变分类中对未见过的领域进行泛化

    通过利用 ViT 中的预测软化机制实现视觉转换器自我蒸馏，我们提出了一种简单而有效的领域泛化方法，用于自动糖尿病视网膜病变分类。通过在具有不同 ViT 骨干结构的多源和单源 DG 设置下进行广泛的实验，我们证明了我们的方法在 DR 分类中的有效性和适用性，并展示出比其他方法更好的校准性能，适用于包括医疗保健在内的安全关键应用。希望我们的贡献能够推动医学影像社区更多的 DG 研究。

    Oct, 2023

  • 自监督表示学习在糖尿病视网膜病变图像的标签有效跨域知识迁移中的应用

    本文提出了一种基于标签效率自监督表示学习的方法，用于在跨域设置中对糖尿病视网膜病变图像进行分类。该方法使用来自源域数据集的先前学习，通过对比学习从未标记的源域数据集中学习的图像表示来对目标域数据集中的视网膜病变图像进行分类。实验结果表明，该方法在二分类和多分类中取得了最先进的结果，并优于现有的方法。

    Apr, 2023

  • 视网膜病变分割的跨数据集泛化

    通过对多个数据集进行对比研究，本文提出了使用随机权重平均、模型融合和集成等技术来提高模型泛化性能，并揭示了如何将粗粒度标记数据与细粒度数据集相结合以改善病变分割的洞见。

    May, 2024

  • DRStageNet：由眼底图像进行的糖尿病视网膜病变分级的深度学习

    糖尿病视网膜病变是糖尿病的常见并发症，与视力丧失的显著风险相关。在这项研究中，我们提出了 DRStageNet，这是一个用于处理分布转换问题的深度学习模型，通过引入多源领域微调策略来提高 DR 分期算法的泛化性能，并展示了与其他基准模型的优越性能。

    Dec, 2023

  • 通过变分自动编码器在糖尿病视网膜病变领域跨领域泛化

    通过探索变分自动编码器在眼底图像的潜在空间中解耦的内在能力，本研究旨在获取一种更强大适应不同 DR 数据集中遇到的领域转换的域不变表示方法，以提高该模型在广泛临床环境中的适用性，并证明其能够通过简单方法优于现有先进技术，挑战了对于 DR 分类高度复杂方法更优的普遍假设，强调了考虑简单方法并将其适应于医学图像的泛化任务的重要性。

    Sep, 2023

  • 自适应多尺度视网膜诊断：基于混合三模型方法的综合底片多疾病检测，利用迁移学习和孪生网络

    研究开发了混合三元网络模型算法，通过使用包含基于传统转移学习的 CNN 模型、两阶段 CNN 模型和孪生网络的三个特征组件提取特征，以及集成机器学习算法进行诊断，实现了对 12 种常见和罕见眼病的准确诊断，其平均准确率为 97%，AUC 得分为 0.96。该诊断工具为全球化早期发现常见和罕见眼病提供了稳定、适应性强、经济高效、易用和快速的解决方案。

    May, 2024

  • RetinaRegNet：视网膜图像注册的通用方法

    RetinaRegNet 模型在不需要对任何视网膜图像进行训练的情况下，通过使用来自扩散模型的图像特征建立两个视网膜图像之间的点对应关系，实现了各种视网膜图像注册任务的最先进性能。该模型通过逆一致性约束和基于变换的异常点检测器去除估计的点对应关系中的异常值，并通过二阶图像配准和更精确的三阶多项式变换处理大变形，已在三个视网膜图像数据集上证明了其优越性能。

    Apr, 2024

  • 探索基础模型在眼底图像上的迁移性：应用于高血压性视网膜病变

    使用基于 Imagnet 预训练的深度学习模型是处理医学图像分类中数据稀缺性的传统解决方案。然而，相关文献支持此策略可能由于领域之间的高差异性而带来有限的增益。目前，适应领域专业化基础模型的范式证明是一种有前景的替代选择。本文通过 CGI-HRDC 高血压性视网膜病变诊断的眼底图像挑战赛，评估了最近发布的视觉 - 语言基础模型 FLAIR 的可迁移性。我们探索了使用 FLAIR 特征作为眼底图像分类的起点的潜力，并将其性能与基于 Imagenet 初始化的两种流行的迁移学习方法（线性探测和微调）进行了比较。我们的实证观察表明，在任何情况下，传统策略的使用都提供了性能增益。相比之下，直接从 FLAIR 模型进行迁移可以获得 2.5% 的增益。当对整个网络进行微调时，性能差距增加到 4%。在这种情况下，我们展示了通过使用分类器的线性探测初始化避免特征退化，以最佳方式重用丰富的预训练特征。尽管使用线性探测的直接迁移性仍然提供有限的性能，但我们相信 FLAIR 等基础模型将推动基于深度学习的眼底图像分析的发展。

    Jan, 2024

  • MM-Retinal: 知识增强的基础预训练及其在眼底图像文本专业领域中的应用

    提出了 MM-Retinal 基金 us 图像分析模型，该模型通过多模态数据集以及 KeepFIT 知识增强基础预训练模型，实现了六个未见任务中的最先进性能，并在零样本和少样本场景中展现了出色的泛化能力。

    May, 2024