Jun, 2024

用于减轻医学图像中的捷径学习的注视导向视觉 GNN

PDF
TL;DR本研究提出了一种新颖的注视导向视觉图神经网络（称为 GD-ViG），通过利用注视的视觉模式将网络引导到与疾病相关的区域，并从而减轻了快捷学习。该网络在医学图像分析中取得了优异的表现，比最新的方法更有效地减少了快捷学习问题。
deep neural networksshortcut learninggaze-directed vision gnnradiologistsmedical image analysis
发现论文，激发创造
  • GazeGNN: 一种用于疾病分类的注视导向图神经网络

    本文中提出了一种新的注视引导的图神经网络（GazeGNN），用于对医学扫描进行疾病分类，该方法不需要将目光信息转换为视觉注意力图；该方法在公共胸部 X-ray 数据集上实验，相较于现有方法，本方法取得了最佳分类性能。

    May, 2023

  • 放射报告生成的强化视觉引导网络

    通过提出具有全局密集注意力（GIA）模块的医学图像编码器和可视化知识引导解码器（VKGD），我们的研究旨在解决自动放射学报告生成中的多视角推理和多模态信息处理的问题，实现更准确的报告生成。在实验中，我们的方法在 IU X-Ray 和 MIMIC-CXR 两个常用数据集上展现出比其他最先进方法更优越的能力。

    Feb, 2024

  • DiagViB-6：一套用于视觉模型的诊断基准套件，支持快捷通路和泛化机会的评估

    本研究发现常见的深度神经网络在预测基本的视觉目标因素（例如形状、颜色或纹理）时也会受到捷径学习的影响，且需要利用视觉数据中的独立性来克服此问题，从而引入了诊断视觉基准套件 DiagViB-6，并基准测试了多种流行的视觉体系结构并表明它们只能在有限程度上利用视觉数据中的独立性。

    Aug, 2021

  • Vision GNN: 一张图值得千万个节点

    本文提出了将图像表示为图结构，并介绍了一种新的 Vision GNN（ViG）体系结构，用于提取视觉任务的图级特征。ViG 由 Grapher 模块和 FFN 模块组成，可用于图形聚合、更新图形信息以及节点特征变换。该体系结构在图像识别和目标检测任务方面表现出优异性能，并希望将来的研究能够从中获得启发。

    Jun, 2022

  • GreedyViG：用于高效视觉 GNN 的动态轴图构建

    利用动态轴图构建（DAGC）和 GreedyViG 的混合 CNN-GNN 架构，在图像分类等任务中实现了高精度，GMACs 减少，参数数量相似的效果，超过了现有的视觉图神经网络模型。

    May, 2024

  • 利用凝视进行对比学习以促进计算机辅助诊断

    通过眼动追踪作为替代文本报告的方法，我们可以 passively 收集放射科医师在阅读和诊断医学图像时的视觉关注和临床推理，从而在医学图像领域中改善对比度预训练的有效性。我们提出了医学对比度视线图像预训练（McGIP）作为对比度学习框架的即插即用模块，通过放射科医师的注视来指导对比度预训练，实验结果表明了 McGIP 的实用性，显示其在各种临床场景和应用中具有很高的潜力。

    Dec, 2023

  • ViGEO：地球观测中视觉图神经网络评估

    卫星任务和地球观测系统对于环境监测和及时发现灾难性事件以及长期监测自然资源和人造资产如植被、水体、森林和建筑物方面具有基础性作用。近期机器学习、计算机视觉的进展以及标注数据的可用性使得研究人员通过使用深度神经网络展示了在土地利用监测系统和遥感图像分类方面的可行性和精确性。该研究调查了一种最新的视觉图神经网络架构（ViG）在土地覆盖分类任务中的性能，并实验结果显示 ViG 在多类别和多标签分类背景下的表现超过了 ViT 和 ResNet 在大规模基准测试中的最新水平。

    Feb, 2024

  • 引导式上下文门控：学习利用视网膜底图中显著病变

    通过引入 Guided Context Gating 注意机制，本研究提出了一种用于有效表示医学图像（特别是视网膜图像）的新方法，相较于现有注意机制，在定位病变上具有更好的效果，并在视网膜病变的严重程度评估中实现了显著的精度提升。

    Jun, 2024

  • 从放射科医师的注视中学习更好的对比视图

    提出了一种基于医学专家注意力的新型数据增强方法 FocusContrast，它考虑疾病相关的异常信息，通过模仿医学专家的视觉注意力生成对比视图，可在膝关节 X 射线数据集的分类准确性上比现有的自监督学习方法如 SimCLR，MoCo 和 BYOL 提高了 4.0 ~ 7.0％。

    May, 2023

  • 基于潜在图学习的疾病预测

    本文通过提出新的动态本地化图剪枝方法，在医学中的两个 CADx 问题上展示了学习单一、最优图形对 GCN 向下游疾病分类任务的可行性，由此我们证明了图形学习对于在医学应用中使用 GCN 进行更准确和稳健推断的重要性。

    Mar, 2020