Feb, 2023

将眼动数据整合到胸部 X 线 DL 方法中：初步研究

PDF
TL;DR本文提出了一种新颖的多模态 DL 结构，结合医学图像和眼动数据用于检测胸部 X 射线异常，结果表明将眼动数据直接应用于 DL 结构并不能表现出优越的预测性能，在 DL 结构中应用人类生成的数据，比如眼动数据，需要更全面深入的研究。
发现论文，激发创造
  • 利用视觉和语言模型与眼动模式增强胸部 X 射线分析中的人机交互

    通过整合医生的眼动数据以及文本提示，利用视觉 - 语言模型（VLMs）来增强胸部 X 射线分析中的人机交互，从而提高计算机辅助诊断在医学图像任务中的准确性。

    Apr, 2024

  • 多模态学习与放射学认知过程：胸部 X 光扫描路径预测的 MedGaze

    利用计算机视觉预测医学图像中的人眼注视路径，通过大型数据库生成热度图和眼动视频以协助综合分析，并与最先进的方法相比较其性能和普适性。

    Jun, 2024

  • 眼球注视导向的多模态对齐框架用于放射学

    使用眼动数据来辅助图像和文本特征的对齐，以减少对手动注释的依赖和降低培训成本。同时，探讨了不同量的眼动数据对模型性能的影响，突显将此辅助数据整合到多模态预训练中的可行性和实用性。

    Mar, 2024

  • 当眼动追踪遇上机器学习：医学图像分析中的应用综述

    利用眼球追踪技术提取医学图像中有意义的特征和洞察力，以改进医疗诊断的方法。通过整合人类认知和人工智能发展，将眼球追踪数据与机器学习和深度学习方法相结合，提高医学图像分析的准确性和效率。该系统性综述研究着眼于探索通过眼球追踪应用和方法来增强医学图像分析中的机器学习和深度学习算法。

    Mar, 2024

  • REFLACX, 一份用于胸部 X 光异常定位的报告和眼动追踪数据集

    本文提出了一种潜在可扩展的方法，使用眼动仪和麦克风来收集隐式本地化数据，从而创建了 REFLACX 数据集（包括 3032 个同步集）。该数据集由五位放射科医生标记并包含了对 MIMIC-CXR 数据集中 2616 种胸部 x 光片的时间戳报告转录。此外，提供了包含心肺轮廓和异常标注的辅助标注，可用于计算多用户之间的一致性得分。

    Sep, 2021

  • 利用凝视进行对比学习以促进计算机辅助诊断

    通过眼动追踪作为替代文本报告的方法，我们可以 passively 收集放射科医师在阅读和诊断医学图像时的视觉关注和临床推理，从而在医学图像领域中改善对比度预训练的有效性。我们提出了医学对比度视线图像预训练（McGIP）作为对比度学习框架的即插即用模块，通过放射科医师的注视来指导对比度预训练，实验结果表明了 McGIP 的实用性，显示其在各种临床场景和应用中具有很高的潜力。

    Dec, 2023

  • 半监督对比回归用于眼球注视估计

    通过使用半监督对比学习框架，本文提出了一种新的对比损失范式，从而实现了基于注视方向的估计，该框架在使用少量带有标签的注视数据集时，可以找到泛化解决方案，即使对于未见过的人脸图像也能有良好的性能表现，与其他用于注视估计的最先进对比学习技术相比，我们的对比回归框架表现良好。

    Aug, 2023

  • 跨领域多模态凝视目标检测

    本研究讨论了单幅图像的凝视目标检测问题，提出了使用多模态深度架构来推断场景中人物的注视位置的方法，并考虑了不同数据集之间的领域适应。

    Aug, 2022

  • 多阶段合作学习的胸部 X 光透视与临床视觉注意预测：增强解释性

    使用新型深度学习框架，结合医生的视觉注意力图，在胸部 X 射线扫描中实现关节疾病的诊断和预测对应的视觉显著性图，提高计算机辅助诊断质量。

    Mar, 2024

  • StudyFormer：基于注意力和动态多视角分类器的 X 光图像研究

    该文提出了一种利用卷积神经网络和视觉变压器结合的方法，用于从多视角合并信息以提高 X 射线图像分类性能，实验表明该方法超越了单视角模型以及传统的多视角分类架构。

    Feb, 2023