Jun, 2024

多模态学习与放射学认知过程：胸部 X 光扫描路径预测的 MedGaze

PDF
TL;DR利用计算机视觉预测医学图像中的人眼注视路径，通过大型数据库生成热度图和眼动视频以协助综合分析，并与最先进的方法相比较其性能和普适性。
human gaze behavioreye gaze sequencesmedical imagingscanpath predictioncxi images
发现论文，激发创造
  • 利用视觉和语言模型与眼动模式增强胸部 X 射线分析中的人机交互

    通过整合医生的眼动数据以及文本提示，利用视觉 - 语言模型（VLMs）来增强胸部 X 射线分析中的人机交互，从而提高计算机辅助诊断在医学图像任务中的准确性。

    Apr, 2024

  • 将眼动数据整合到胸部 X 线 DL 方法中：初步研究

    本文提出了一种新颖的多模态 DL 结构，结合医学图像和眼动数据用于检测胸部 X 射线异常，结果表明将眼动数据直接应用于 DL 结构并不能表现出优越的预测性能，在 DL 结构中应用人类生成的数据，比如眼动数据，需要更全面深入的研究。

    Feb, 2023

  • 利用凝视进行对比学习以促进计算机辅助诊断

    通过眼动追踪作为替代文本报告的方法，我们可以 passively 收集放射科医师在阅读和诊断医学图像时的视觉关注和临床推理，从而在医学图像领域中改善对比度预训练的有效性。我们提出了医学对比度视线图像预训练（McGIP）作为对比度学习框架的即插即用模块，通过放射科医师的注视来指导对比度预训练，实验结果表明了 McGIP 的实用性，显示其在各种临床场景和应用中具有很高的潜力。

    Dec, 2023

  • 眼球注视导向的多模态对齐框架用于放射学

    使用眼动数据来辅助图像和文本特征的对齐，以减少对手动注释的依赖和降低培训成本。同时，探讨了不同量的眼动数据对模型性能的影响，突显将此辅助数据整合到多模态预训练中的可行性和实用性。

    Mar, 2024

  • 解码放射科医生专注于准确的胸部 X 光诊断：一种可控和可解释的人工智能系统

    本文提出了一种新颖且统一的可控解释性流程，用于解码胸部 X 射线（CXR）诊断中放射科医师的密集关注点，通过捕捉放射科医师凝视的强度，提供了对放射学解释过程的认知过程的洞察。

    Sep, 2023

  • 从放射科医师的注视中学习更好的对比视图

    提出了一种基于医学专家注意力的新型数据增强方法 FocusContrast，它考虑疾病相关的异常信息，通过模仿医学专家的视觉注意力生成对比视图，可在膝关节 X 射线数据集的分类准确性上比现有的自监督学习方法如 SimCLR，MoCo 和 BYOL 提高了 4.0 ~ 7.0％。

    May, 2023

  • 增强放射诊断：融合人工智能与人类专业知识的协作方法修正可视错误

    CoRaX 是一种协同人工智能系统，通过整合眼动数据和放射学报告来改进胸部放射学的诊断准确性，找出感知错误并优化决策过程。研究使用 REFLACX 和 EGD-CXR 数据集以及大型多模态模型开发了 CoRaX，并评估了其推荐过程、推荐质量和协同诊断能力。结果表明，CoRaX 能够高效地协同放射科医生，纠正各种异常中的感知错误，并在新手放射科医生的教育和培训中具有潜在应用。

    Jun, 2024

  • 多阶段合作学习的胸部 X 光透视与临床视觉注意预测：增强解释性

    使用新型深度学习框架，结合医生的视觉注意力图，在胸部 X 射线扫描中实现关节疾病的诊断和预测对应的视觉显著性图，提高计算机辅助诊断质量。

    Mar, 2024

  • 利用合成扫视路径增强的预训练语言模型用于自然语言理解

    整合了合成扫视路径生成和扫视路径增强的语言模型，消除了对人类注视数据的需求，并具有与真实数据增强的语言模型相媲美的性能。

    Oct, 2023

  • 为改善 NLP 表现合成人类凝视反馈

    本文提出了一种基于 ScanTextGAN 的人类注视路径生成模型，通过集成生成的注视路径数据来提高自然语言处理领域中多个任务的性能表现。

    Feb, 2023