Aug, 2024

GEM：基于上下文的胸部放射影像视觉搜索行为匹配注视估计

HTML
PDF
TL;DR本研究针对医疗放射学报告中的上下文感知注视估计问题，提出了一种新颖的Gaze EstiMation (GEM)网络。该网络利用放射科医生的眼动数据模拟其在医学图像解读过程中的视觉搜索行为模式，实验结果表明，GEM在准确性和通用性方面优于现有方法，为医疗影像的多模态有效利用和模型可解释性提供了新的方向。
发现论文，激发创造
  • 将眼动数据整合到胸部X线DL方法中：初步研究

    本文提出了一种新颖的多模态 DL 结构，结合医学图像和眼动数据用于检测胸部 X 射线异常，结果表明将眼动数据直接应用于 DL 结构并不能表现出优越的预测性能，在 DL 结构中应用人类生成的数据，比如眼动数据，需要更全面深入的研究。

    Feb, 2023

  • GazeGNN: 一种用于疾病分类的注视导向图神经网络

    本文中提出了一种新的注视引导的图神经网络（GazeGNN），用于对医学扫描进行疾病分类，该方法不需要将目光信息转换为视觉注意力图；该方法在公共胸部 X-ray 数据集上实验，相较于现有方法，本方法取得了最佳分类性能。

    May, 2023

  • 利用眼动追踪技术和机器学习来识别放射医生的研究案例

    基于眼动数据的特征编码方法被用于区分放射科医师的水平，该方法在鉴定放射科医师专业水平方面表现优于当前的先进技术。

    Aug, 2023

  • 解码放射科医生专注于准确的胸部X光诊断：一种可控和可解释的人工智能系统

    本文提出了一种新颖且统一的可控解释性流程，用于解码胸部X射线（CXR）诊断中放射科医师的密集关注点，通过捕捉放射科医师凝视的强度，提供了对放射学解释过程的认知过程的洞察。

    Sep, 2023

  • 利用凝视进行对比学习以促进计算机辅助诊断

    通过眼动追踪作为替代文本报告的方法，我们可以 passively 收集放射科医师在阅读和诊断医学图像时的视觉关注和临床推理，从而在医学图像领域中改善对比度预训练的有效性。我们提出了医学对比度视线图像预训练（McGIP）作为对比度学习框架的即插即用模块，通过放射科医师的注视来指导对比度预训练，实验结果表明了 McGIP 的实用性，显示其在各种临床场景和应用中具有很高的潜力。

    Dec, 2023

  • 当眼动追踪遇上机器学习：医学图像分析中的应用综述

    利用眼球追踪技术提取医学图像中有意义的特征和洞察力，以改进医疗诊断的方法。通过整合人类认知和人工智能发展，将眼球追踪数据与机器学习和深度学习方法相结合，提高医学图像分析的准确性和效率。该系统性综述研究着眼于探索通过眼球追踪应用和方法来增强医学图像分析中的机器学习和深度学习算法。

    Mar, 2024

  • 眼球注视导向的多模态对齐框架用于放射学

    使用眼动数据来辅助图像和文本特征的对齐，以减少对手动注释的依赖和降低培训成本。同时，探讨了不同量的眼动数据对模型性能的影响，突显将此辅助数据整合到多模态预训练中的可行性和实用性。

    Mar, 2024

  • 利用视觉和语言模型与眼动模式增强胸部 X 射线分析中的人机交互

    通过整合医生的眼动数据以及文本提示，利用视觉-语言模型（VLMs）来增强胸部X射线分析中的人机交互，从而提高计算机辅助诊断在医学图像任务中的准确性。

    Apr, 2024

  • 用于减轻医学图像中的捷径学习的注视导向视觉GNN

    本研究提出了一种新颖的注视导向视觉图神经网络（称为GD-ViG），通过利用注视的视觉模式将网络引导到与疾病相关的区域，并从而减轻了快捷学习。该网络在医学图像分析中取得了优异的表现，比最新的方法更有效地减少了快捷学习问题。

    Jun, 2024

  • 多模态学习与放射学认知过程：胸部 X 光扫描路径预测的 MedGaze

    利用计算机视觉预测医学图像中的人眼注视路径，通过大型数据库生成热度图和眼动视频以协助综合分析，并与最先进的方法相比较其性能和普适性。

    Jun, 2024