利用计算机视觉预测医学图像中的人眼注视路径，通过大型数据库生成热度图和眼动视频以协助综合分析，并与最先进的方法相比较其性能和普适性。

Jun, 2024

本文提出了一种新颖的多模态 DL 结构，结合医学图像和眼动数据用于检测胸部 X 射线异常，结果表明将眼动数据直接应用于 DL 结构并不能表现出优越的预测性能，在 DL 结构中应用人类生成的数据，比如眼动数据，需要更全面深入的研究。

Feb, 2023

使用眼动数据来辅助图像和文本特征的对齐，以减少对手动注释的依赖和降低培训成本。同时，探讨了不同量的眼动数据对模型性能的影响，突显将此辅助数据整合到多模态预训练中的可行性和实用性。

Mar, 2024

本研究介绍了 XrayGPT，一种新型的会话式医疗视觉 - 语言模型，可以分析并回答关于胸部 X 光片的开放式问题。通过将医疗视觉编码器 MedClip 与微调的大型语言模型 Vicuna 进行对齐，并使用简单的线性变换，我们的模型能够具备出色的视觉会话能力，从而深入理解放射学和医学领域的知识。

Jun, 2023

通过眼动追踪作为替代文本报告的方法，我们可以 passively 收集放射科医师在阅读和诊断医学图像时的视觉关注和临床推理，从而在医学图像领域中改善对比度预训练的有效性。我们提出了医学对比度视线图像预训练（McGIP）作为对比度学习框架的即插即用模块，通过放射科医师的注视来指导对比度预训练，实验结果表明了 McGIP 的实用性，显示其在各种临床场景和应用中具有很高的潜力。

Dec, 2023

本文提出了一种新颖且统一的可控解释性流程，用于解码胸部 X 射线（CXR）诊断中放射科医师的密集关注点，通过捕捉放射科医师凝视的强度，提供了对放射学解释过程的认知过程的洞察。

Sep, 2023

使用新型深度学习框架，结合医生的视觉注意力图，在胸部 X 射线扫描中实现关节疾病的诊断和预测对应的视觉显著性图，提高计算机辅助诊断质量。

Mar, 2024

通过结合结构化患者数据和非结构化临床记录，我们提出了一种新颖的多模态深度神经网络框架，用于生成描述医学图像结果的胸部 X 射线检查报告，并通过引入条件交叉多头注意力模块来融合这些异构数据模态，弥合视觉和文字数据之间的语义差距。与仅依赖图像的模型相比，实验证明通过使用附加模态可以显著改善结果，在 ROUGE-L 指标上达到了文献相关最高的性能。此外，我们采用了人工评估和临床语义相似度测量以及词重叠度指标来提高定量分析的深度。由经过认证的放射科医师进行的人工评估确认了该模型在识别高级结果方面的准确性，但也强调需要更多的改进以捕捉细微的细节和临床背景。

Nov, 2023

我们提出了一种基于 Transformer 的基于地面知识增强模块的医学视觉 - 语言预训练（GK-MVLP）框架，通过细粒度对应医学知识的解剖区域级视觉特征和文本特征，将医学知识地面化到适当的解剖区域，优化胸部 X 光图像和放射学报告的对齐，并在下游任务上展现出与或超过现有技术的竞争力，包括胸部 X 光疾病分类、疾病定位、报告生成和医学视觉问答。结果显示了引入地面化机制消除偏见并改善胸部 X 光图像和放射学报告的对齐的优势。

Apr, 2024

CoRaX 是一种协同人工智能系统，通过整合眼动数据和放射学报告来改进胸部放射学的诊断准确性，找出感知错误并优化决策过程。研究使用 REFLACX 和 EGD-CXR 数据集以及大型多模态模型开发了 CoRaX，并评估了其推荐过程、推荐质量和协同诊断能力。结果表明，CoRaX 能够高效地协同放射科医生，纠正各种异常中的感知错误，并在新手放射科医生的教育和培训中具有潜在应用。

Jun, 2024