通过从X射线专家模型中提炼知识来引导胸部CT图像理解
本文提出了基于Text-Image Embedding网络的自动标注框架和胸透报告系统，利用临床自由文本的先验知识，结合卷积循环神经网络的多层注意力模型，对图像和文本进行嵌入和分类，并在未标记数据上相对于现有技术取得了更好的分类结果（平均AUC增加6%）。
Jan, 2018
该研究提出了一种利用患者元数据为医学影像选择正向对样本的方法，使用该方法选择出来的正向对样本可以在自我监督对比学习中提高下游任务的性能。最佳的正向对选择策略将来自同一病人，同一研究的图像从所有的位置进行捕获，使平均AUC增长了14.4％。
Feb, 2021
本研究提出了一种策略来克服大规模自然 - 医学分布偏移，并使用预先训练的潜在扩散模型在公开可用的胸部X射线（CXR）及其对应的放射学（文本）报告语料库上进行调整，评估了生成的高保真CXR的图像质量和文本 - 图像对齐的能力，并观察到使用数据增强的方式训练动态成像分类器的证据。
Nov, 2022
通过提出一种新的Chest-Xray差异视觉问答（VQA）任务，结合体积和语言模型的自动化，本研究旨在回答几个关于疾病和两者之间的差异的问题。该研究收集了一个新的数据集MIMIC-Diff-VQA，包含了164,324对主要和参考图像的700,703个问答对，与现有的医学VQA数据集相比，本研究中的问题是针对临床专业人员使用的评估-诊断-干预-评估治疗程序量身定制的。与此同时，我们还提出了一种新的专家知识感知图表示学习模型，以解决这个任务。该基准模型利用解剖结构先验，语义和空间知识等专家知识构建了一个多关系图，用于表示图像差异问答任务。数据集和代码可以在此URL找到，我们相信这项工作将进一步推动医学视觉语言模型的发展。
Jul, 2023
ELIXR是一种用于CXR AI的强大而多功能的方法，它在零样本和数据高效领域取得了显著结果，并在CXR图像分类、语义搜索和CXR视觉语言任务中表现出良好的性能。
Aug, 2023
通过结合结构化患者数据和非结构化临床记录，我们提出了一种新颖的多模态深度神经网络框架，用于生成描述医学图像结果的胸部X射线检查报告，并通过引入条件交叉多头注意力模块来融合这些异构数据模态，弥合视觉和文字数据之间的语义差距。与仅依赖图像的模型相比，实验证明通过使用附加模态可以显著改善结果，在ROUGE-L指标上达到了文献相关最高的性能。此外，我们采用了人工评估和临床语义相似度测量以及词重叠度指标来提高定量分析的深度。由经过认证的放射科医师进行的人工评估确认了该模型在识别高级结果方面的准确性，但也强调需要更多的改进以捕捉细微的细节和临床背景。
Nov, 2023
我们提出了一种基于Transformer的基于地面知识增强模块的医学视觉-语言预训练（GK-MVLP）框架，通过细粒度对应医学知识的解剖区域级视觉特征和文本特征，将医学知识地面化到适当的解剖区域，优化胸部X光图像和放射学报告的对齐，并在下游任务上展现出与或超过现有技术的竞争力，包括胸部X光疾病分类、疾病定位、报告生成和医学视觉问答。结果显示了引入地面化机制消除偏见并改善胸部X光图像和放射学报告的对齐的优势。
Apr, 2024
通过医疗图片的图像-图对比学习框架，利用从放射学记录中自动提取的结构化报告知识图形，独特地编码了断开的图形组件，通过关系图卷积网络和transformer注意力机制，在对CheXpert数据集进行实验时，在1%线性评估和少样本情况下表现优于已有的图像-文字对比学习方法，并达到与放射科医生相当的性能；通过利用无标签的配对图像和文本，我们的框架展示了利用结构化的临床见解来增强医学图像的对比学习的潜力，这项工作为减少医疗专家的注释需求、提高诊断精度和推进健康病人护理提供了基础。
May, 2024
本文提出了利用已有的视觉-语言模型(Visual-Language Model, VLM)联合嵌入空间的概念对立解释来解释黑盒分类器结果的方法，无需注释的数据集。通过利用胸部放射学报告中的文本概念和基于胸部放射学的预训练VLM，解释了三种常见的心胸病理，证明了我们的方法生成的解释在语义上是有意义的，忠实于潜在的病理。
Jun, 2024
通过对Chest X-ray照片的解释和生成自然语言描述，结合高级推理，评估可用于医学报告生成的视觉-语言模型的性能，发现这些模型往往会产生具有自信的语言，从而导致临床解释的减慢。因此，我们开发了一种基于Agent的视觉-语言方法，使用线性探测和短语锚定工具生成基于不确定性的放射学报告，准确定位和描述病理学。通过开发评估平台进行用户研究，结合自然语言处理指标、Chest X-ray基准和呼吸专家的临床评估，我们的结果显示出在AI生成报告的准确性、解释性和安全性方面的相当大的改进。同时，强调需要更大规模的配对(照片和报告)数据集以及数据扩增来解决这些大型视觉-语言模型中的过拟合问题。
Jul, 2024