本研究提供了基于场景图的 Chest ImaGenome 数据集，利用自然语言处理和基于图集的边界框检测构建了局部标注，并通过放射学家构建的 X 线诊断本体论将每个 CXR 的注释连接为以解剖学为中心的场景图。

Jul, 2021

本研究提出了一种策略来克服大规模自然 - 医学分布偏移，并使用预先训练的潜在扩散模型在公开可用的胸部 X 射线（CXR）及其对应的放射学（文本）报告语料库上进行调整，评估了生成的高保真 CXR 的图像质量和文本 - 图像对齐的能力，并观察到使用数据增强的方式训练动态成像分类器的证据。

Nov, 2022

介绍了 CT-RATE 作为第一个将图像与文本报告配对的 3D 医学图像数据集，以及基于该数据集开发的 CT-CLIP 模型在多异常检测和案例检索方面的优越性，从而提升了医疗人工智能的发展和医疗创新。

Mar, 2024

利用自然语言作为有限可用的数据集辅助胸部 CT 图像理解并通过对比学习技术提高模型的性能。

Apr, 2024

本文提出了 GenerateCT 方法，它是第一个用于文本条件下的计算机体层摄影（CT）生成的方法，并且构建了一个包含预训练大型语言模型和基于变压器的文本条件 3D 胸部 CT 生成结构的框架。同时，我们提出了 CT-ViT 来更有效地压缩 CT 数据。实验结果表明 GenerateCT 可以根据医学文本提示生成逼真、高分辨率和高保真度的 3D 胸部 CT 体积，具有很大的潜力加速医学成像研究。

May, 2023

本研究介绍了 XrayGPT，一种新型的会话式医疗视觉 - 语言模型，可以分析并回答关于胸部 X 光片的开放式问题。通过将医疗视觉编码器 MedClip 与微调的大型语言模型 Vicuna 进行对齐，并使用简单的线性变换，我们的模型能够具备出色的视觉会话能力，从而深入理解放射学和医学领域的知识。

Jun, 2023

本文介绍了一种用于 CT 图片和报告的视觉基准框架，结合解剖分割和报告结构化技术，能更好地定位出异常，性能比基准模型提高了很大的幅度（66.0% vs 77.8%），相比之前的技术也具有更高的性能。

Dec, 2023

我们提出了一种基于 Transformer 的基于地面知识增强模块的医学视觉 - 语言预训练（GK-MVLP）框架，通过细粒度对应医学知识的解剖区域级视觉特征和文本特征，将医学知识地面化到适当的解剖区域，优化胸部 X 光图像和放射学报告的对齐，并在下游任务上展现出与或超过现有技术的竞争力，包括胸部 X 光疾病分类、疾病定位、报告生成和医学视觉问答。结果显示了引入地面化机制消除偏见并改善胸部 X 光图像和放射学报告的对齐的优势。

Apr, 2024

本文提出了一种自动生成医疗记录摘要的方法，结合对前胸透视 X 光扫描的分析和来自放射学记录的结构化患者信息，使用 Show-Attend-Tell 和 GPT-3 两种语言模型生成具体和描述性的放射学记录，并在 Open-I、MIMIC-CXR 和 MS-COCO 等医疗数据集上进行测试，结果表明其能够有效地应用于胸部 X 光图像字幕生成和病理定位。

Sep, 2022

通过结合结构化患者数据和非结构化临床记录，我们提出了一种新颖的多模态深度神经网络框架，用于生成描述医学图像结果的胸部 X 射线检查报告，并通过引入条件交叉多头注意力模块来融合这些异构数据模态，弥合视觉和文字数据之间的语义差距。与仅依赖图像的模型相比，实验证明通过使用附加模态可以显著改善结果，在 ROUGE-L 指标上达到了文献相关最高的性能。此外，我们采用了人工评估和临床语义相似度测量以及词重叠度指标来提高定量分析的深度。由经过认证的放射科医师进行的人工评估确认了该模型在识别高级结果方面的准确性，但也强调需要更多的改进以捕捉细微的细节和临床背景。

Nov, 2023