ELF:一种端到端的本地和全局多模态融合框架用于青光眼分级
提出了一种新颖的深度学习框架,基于 3D 光学相干断层扫描(OCT)成像进行自动青光眼检测,取得了优于现有方法的表现,为提高临床决策支持系统和改善青光眼管理患者预后提供了重要潜力。
Mar, 2024
提出了一种利用非配对的眼底图像增强光学相干断层扫描模型的新方法,用于眼底疾病分类,实验结果证明该方法优于单模态、多模态和最先进的蒸馏方法。
Aug, 2023
通过成立 Retinal Fundus Glaucoma Challenge(REFUGE)公开了一个包含 1200 个图像的数据集,比现有最大的数据集都要大,提供了一个标准化的基准策略分析不同模型,挑战拥有 12 个资格的团队,其中两个排名最高的团队在青光眼分类任务中表现优于两个人类专家。
Oct, 2019
通过图像处理和深度学习神经网络分类相结合的方法,提出了一种先进的图像预处理技术来诊断青光眼。他们的 Glaucoma Automated Retinal Detection Network(GARDNet)在 Rotterdam EyePACS AIROGS 数据集上成功测试,AUC 为 0.92,在 RIM-ONE DL 数据集上进行了额外优化和测试,AUC 为 0.9308,表现优于现有技术。
May, 2022
本文介绍了一种新的自动青光眼筛查方法 —— 深度学习技术,针对现有临床测量方法对于图像处理精度的过高依赖和对于多种视觉特征的忽视,提出一种名为 DENet 的深度感知集成网络,能够直接从眼底图像中筛查出青光眼。该方法将全局眼底图像和局部视神经盘区域的深层层次信息相结合,实现了四个深度流的处理,最终融合不同流的输出概率生成最终筛查结果。实验结果表明,该筛查方法与其他先进算法相比表现更优。
May, 2018
通过结合超广角彩色眼底照相和光学相干断层扫描血管造影成像技术,该研究提出了一种新的多模态方法,显著增强了糖尿病视网膜病变的分类性能,有望帮助更准确地早期检测糖尿病视网膜病变,改善患者的临床预后。
Oct, 2023
在本论文中,我们提出了 Evidential Local-global Fusion (ELF) 框架,用于立体匹配,通过确定性估计和置信度感知的融合,赋予了模型可信赖性,该框架能够有效地利用多尺度和多视图知识,实现多级预测的融合和基于成本卷积和变换器的立体匹配的融合,实验结果表明该框架能够有效地利用多视图信息,且在准确性和跨领域泛化方面达到了最先进的性能。
Aug, 2023
使用眼动数据来辅助图像和文本特征的对齐,以减少对手动注释的依赖和降低培训成本。同时,探讨了不同量的眼动数据对模型性能的影响,突显将此辅助数据整合到多模态预训练中的可行性和实用性。
Mar, 2024
本文介绍了一种高效的机器学习方法,即早期 - 后期融合(ELF)方法,其中利用卷积神经网络进行自动特征提取,利用随机森林在小样本数据集上具有竞争力的性能,同时采用了适应各个个体特征的鲁棒的预处理流程,并将图像转换为雅可比域以提高分类的准确性和鲁棒性,实验证明本方法在将阿尔茨海默病分为四个阶段的分类中达到了 97.19%的准确率。
Oct, 2023
该研究介绍了一种新型的超广角光学相干断层扫描血流成像技术(UW-OCTA),并提出了一种跨模态融合框架,可以利用多模态信息诊断多种疾病。通过构建 M3OCTA 数据集,该方法在固定和可变模态设置下证明了其有效性和卓越性能,旨在推动眼科图像分析领域的研究。
Nov, 2023