AAAIDec, 2023

利用凝视进行对比学习以促进计算机辅助诊断

PDF
TL;DR通过眼动追踪作为替代文本报告的方法，我们可以 passively 收集放射科医师在阅读和诊断医学图像时的视觉关注和临床推理，从而在医学图像领域中改善对比度预训练的有效性。我们提出了医学对比度视线图像预训练（McGIP）作为对比度学习框架的即插即用模块，通过放射科医师的注视来指导对比度预训练，实验结果表明了 McGIP 的实用性，显示其在各种临床场景和应用中具有很高的潜力。
radiology reportscontrastive pre-trainingeye-trackinggaze signalsmcgip
发现论文，激发创造
  • 从放射科医师的注视中学习更好的对比视图

    提出了一种基于医学专家注意力的新型数据增强方法 FocusContrast，它考虑疾病相关的异常信息，通过模仿医学专家的视觉注意力生成对比视图，可在膝关节 X 射线数据集的分类准确性上比现有的自监督学习方法如 SimCLR，MoCo 和 BYOL 提高了 4.0 ~ 7.0％。

    May, 2023

  • 多模态学习与放射学认知过程：胸部 X 光扫描路径预测的 MedGaze

    利用计算机视觉预测医学图像中的人眼注视路径，通过大型数据库生成热度图和眼动视频以协助综合分析，并与最先进的方法相比较其性能和普适性。

    Jun, 2024

  • 利用视觉和语言模型与眼动模式增强胸部 X 射线分析中的人机交互

    通过整合医生的眼动数据以及文本提示，利用视觉 - 语言模型（VLMs）来增强胸部 X 射线分析中的人机交互，从而提高计算机辅助诊断在医学图像任务中的准确性。

    Apr, 2024

  • 眼球注视导向的多模态对齐框架用于放射学

    使用眼动数据来辅助图像和文本特征的对齐，以减少对手动注释的依赖和降低培训成本。同时，探讨了不同量的眼动数据对模型性能的影响，突显将此辅助数据整合到多模态预训练中的可行性和实用性。

    Mar, 2024

  • 当眼动追踪遇上机器学习：医学图像分析中的应用综述

    利用眼球追踪技术提取医学图像中有意义的特征和洞察力，以改进医疗诊断的方法。通过整合人类认知和人工智能发展，将眼球追踪数据与机器学习和深度学习方法相结合，提高医学图像分析的准确性和效率。该系统性综述研究着眼于探索通过眼球追踪应用和方法来增强医学图像分析中的机器学习和深度学习算法。

    Mar, 2024

  • 通过图像图对比预训练学习泛化的医学图像表示

    通过医疗图片的图像 - 图对比学习框架，利用从放射学记录中自动提取的结构化报告知识图形，独特地编码了断开的图形组件，通过关系图卷积网络和 transformer 注意力机制，在对 CheXpert 数据集进行实验时，在 1% 线性评估和少样本情况下表现优于已有的图像 - 文字对比学习方法，并达到与放射科医生相当的性能；通过利用无标签的配对图像和文本，我们的框架展示了利用结构化的临床见解来增强医学图像的对比学习的潜力，这项工作为减少医疗专家的注释需求、提高诊断精度和推进健康病人护理提供了基础。

    May, 2024

  • 将眼动数据整合到胸部 X 线 DL 方法中：初步研究

    本文提出了一种新颖的多模态 DL 结构，结合医学图像和眼动数据用于检测胸部 X 射线异常，结果表明将眼动数据直接应用于 DL 结构并不能表现出优越的预测性能，在 DL 结构中应用人类生成的数据，比如眼动数据，需要更全面深入的研究。

    Feb, 2023

  • GazeGNN: 一种用于疾病分类的注视导向图神经网络

    本文中提出了一种新的注视引导的图神经网络（GazeGNN），用于对医学扫描进行疾病分类，该方法不需要将目光信息转换为视觉注意力图；该方法在公共胸部 X-ray 数据集上实验，相较于现有方法，本方法取得了最佳分类性能。

    May, 2023

  • 利用眼动追踪技术和机器学习来识别放射医生的研究案例

    基于眼动数据的特征编码方法被用于区分放射科医师的水平，该方法在鉴定放射科医师专业水平方面表现优于当前的先进技术。

    Aug, 2023

  • 半监督对比回归用于眼球注视估计

    通过使用半监督对比学习框架，本文提出了一种新的对比损失范式，从而实现了基于注视方向的估计，该框架在使用少量带有标签的注视数据集时，可以找到泛化解决方案，即使对于未见过的人脸图像也能有良好的性能表现，与其他用于注视估计的最先进对比学习技术相比，我们的对比回归框架表现良好。

    Aug, 2023