Jan, 2024

OCT-SelfNet: 用于广义和稳健视网膜疾病检测的自监督多模态数据框架

PDF
TL;DR我们的研究提出了一种自我监督的强大机器学习框架 OCT-SelfNet，用于使用光学相干断层扫描 (OCT) 图像检测眼部疾病，通过结合多个机构的数据集，采用两阶段训练方法（自我监督预训练和有监督微调），并基于 SwinV2 主干结构的遮罩自编码器解决了实际临床应用部署的问题。广泛的实验表明，我们的方法在所有测试中均获得超过 77% 的 AUC-ROC 性能，而基线模型 Resnet-50 的性能不到 54%。此外，根据 AUC-PR 指标，我们的方法达到了 42% 以上的性能，相比基线模型的 33%，性能提升了至少 10%，这显示了我们方法的潜力和在临床设置中的实用性。
发现论文，激发创造
  • 基于 OCT 扫描的集成学习和注意力眼疾预测

    提出了一种利用机器学习和深度学习技术进行眼部疾病预测的端到端网络应用，通过对患者的 OCT 扫描图像进行分割和分类，实现眼部疾病的高效检测，对早期发现和及时干预具有重要意义。

    Nov, 2023

  • 少即是多：有限资源下的视网膜疾病识别的集成学习

    本文介绍了一种新的合奏学习机制，旨在识别受限资源（例如数据、计算）下的视网膜疾病，该机制利用了多个预训练模型的见解，有助于将它们的知识转移到视网膜光学相干断层扫描图像中，提供了一种在处理受限标记数据的情况下建立强大模型的方法，并消除了从头开始学习所需的大量参数的需求。在真实世界数据集上进行的全面实验表明，所提出的方法在识别视网膜光学相干断层扫描图像方面可以实现优越性能，即使在处理非常有限的标记数据集时也是如此。此外，这种方法消除了学习大规模参数的必要性，使其非常适合在资源有限的情景中部署。

    Feb, 2024

  • Optic-Net：一种新型卷积神经网络用于诊断光学断层扫描图像中的视网膜疾病

    本研究提出一种卷积神经网络架构，能够成功区分不同视网膜层的退化以及其潜在的疾病原因，准确率达到 99.8%，100%。此外，这种架构可以实时预测视网膜疾病，同时表现优于人类诊断医师。

    Oct, 2019

  • OCT 分割的注释高效学习

    本文提出了一种基于自监督生成学习的、注释高效的 OCT 图像细分方法，该方法可以显著降低注释成本并加速训练，相比于 U-Net 模型，只需要约 10% 的数据就能达到相同的分割精度。

    May, 2023

  • 遮盖图像建模以理解视网膜 OCT

    本研究探讨了使用遮罩图像建模来学习视网膜 OCT 图像的表示的有效性。我们利用遮罩自编码器（MAE）这一简单且可扩展的自监督学习方法，在真实世界的临床环境中使用来自 41K 患者的 700K OCT 图像进行训练，得出了有力且通用的 OCT 图像表示。我们还对 OCT 模型进行了首次广泛评估，通过六个具有挑战性的下游任务，完全微调后的模型表现出了良好的性能，并可以作为轻量级适配器的多功能冻结特征提取器。此外，我们提出了一种扩展的 MAE 预训练方法，将 OCT 与辅助模态 —— 即红外眼底图像相结合，并为两者学习一个联合模型。我们通过多模态下游应用的实验证明了我们的方法提高了性能。我们的实验利用了大多数公开可用的 OCT 数据集，从而为未来的比较工作提供了可能。我们的代码和模型权重公开可用于此 https URL。

    May, 2024

  • RetiNet: OCT 体数据中自动识别 AMD

    本研究提出了一种基于卷积神经网络的半监督学习方法，利用光学相干断层扫描成像技术对视网膜疾病进行自动识别，并取得了良好的效果。

    Oct, 2016

  • 基于空间感知 Transformer-GRU 框架的增强型青光眼诊断从 3D OCT 成像

    提出了一种新颖的深度学习框架，基于 3D 光学相干断层扫描（OCT）成像进行自动青光眼检测，取得了优于现有方法的表现，为提高临床决策支持系统和改善青光眼管理患者预后提供了重要潜力。

    Mar, 2024

  • 生成人工智能在眼科学中的应用：使用卷积神经网络进行多模态视网膜图像诊断阿尔茨海默病

    用多模态视网膜成像和卷积神经网络预测淀粉样蛋白阳性发射计算机断层扫描（AmyloidPET）状态，并通过合成数据预训练以提高性能。

    Jun, 2024

  • 一种准确高效的用于 OCTA 血管分割的神经网络和一个新数据集

    本研究提出了一种准确高效的神经网络，用于光相干断层扫描血管成像（OCTA）中视网膜血管的分割，通过在完整分辨率卷积网络中应用改进的循环 ConvNeXt 模块实现了与其他 SOTA 方法相当的准确性，且具有更少的参数和更快的推理速度（比 U-Net 轻 110 倍且快 1.3 倍），非常适合工业应用，同时构建了一个包含 918 个 OCTA 图像及其相应血管注释的新数据集，该数据集通过 Segment Anything Model（SAM）的协助进行半自动注释，极大地提高了注释速度，研究代码和数据集可从给出的 URL 获取。

    Sep, 2023

  • 利用联合注意力网络提高视网膜变性光学相干断层扫描图像的鲁棒性能

    本研究提出一种通过疾病特定特征表征作为新颖架构，在监督编码疾病模型和无监督方式生成注意力图之间同时利用视网膜亚空间变形的理解以提高视网膜疾病分类网络精度和鲁棒性。实验结果表明所提出的联合网络可以显著提高视网膜疾病分类网络的准确性和鲁棒性。

    May, 2020