使用领域预训练语言模型提高低患病率胸部病变的零样本检测

Jun, 2023

使用领域预训练语言模型提高低患病率胸部病变的零样本检测

Improving Zero-Shot Detection of Low Prevalence Chest Pathologies using Domain Pre-trained Language Models

Aakash Mishra, Rajat Mittal, Christy Jestin, Kostas Tingos, Pranav Rajpurkar

TL;DR本文探讨利用特定领域预训练模型（如CXR-BERT、BlueBERT和ClinicalBERT）替换CLIP的BERT权重以提高CLIP的性能，并针对低流行病的疾病检测评估了具有特定领域预训练的零样本分类模型，虽然替换权重降低了常见病的模型表现，但我们发现预训练文本确实对低流行病疾病具有更好的性能，鼓励未来使用多种不同的训练语言模型的集成模型以实现最大性能。

Abstract

Recent advances in zero-shot learning have enabled the use of paired image-text data to replace structured labels, replacing the need for expert annotated datasets. Models such as CLIP-based CheXzero utilize thes

发现论文，激发创造

胸部X光片疾病分类的多标签广义零样本学习

本文提出了一种能够同时预测CXR图像中多个已见与未见疾病的多标签广义零样学习(CXR-ML-GZSL)网络，借助一个丰富的医学文本语料库提取的语义向量指导图像表示的学习，该网络在NIH Chest X-ray数据集上的实验表明其能够优于两个强基线方法。

Jul, 2021

探索零样本CLIP在间质性肺疾病分类中的多功能性

本研究采用机器学习的方法，利用多模态（图像和文本）的自监督模型CLIP，对间质性肺疾病（ILD）进行分类，并探索了如何利用域自适应预训练（DAPT）CLIP实现零样本分类，通过使用CLIP提取的“patch montage”和DAPT，实现了强大的ILD分类结果，包括0.893的AUROC，为医学图像分类任务提供了一种新的解决方案。

Jun, 2023

视觉语言预训练多实例零样例迁移用于组织病理学图像

提出了MI-Zero框架，它将对比可视语言预训练模型的零射频转换重构为多实例学习，以在吉盘组织学全幻灯片图像上释放其零射频转换能力，从而在预先训练的编码器不需要任何额外的标签的情况下进行多个下游诊断任务。

Jun, 2023

ChatGPT辅助的可解释零样本医学图像诊断框架

该研究提出了一种基于CLIP和ChatGPT的零样本医学图像分类框架，使用大型语言模型自动生成额外的线索和知识以进行更准确和可解释的诊断，展示了VLM和LLM在医疗应用中的巨大潜力。

Jul, 2023

CXR-CLIP：大规模胸部X光照片语言-图像预训练

本文研究了利用大规模图像-文本配对数据集进行视觉语言预训练模型的发展，解决医疗领域中缺乏数据的问题，并通过扩展图像-标签对为图像-文本对，利用多个图像和多个部分的放射学报告来提高模型性能。同时设计了两个对比损失，ICL和TCL，来学习医学图像和报告的研究级特征。我们的模型在相同条件下优于现有的最先进模型。此外，扩大数据集能够提高我们预训练模型的分类性能，尽管在检索性能方面有所牺牲。代码可在此网址获得。

Oct, 2023

机器学习：从胸部X射线片中分割肺部异常

CheX-nomaly模型通过对比学习方法和病变框解关联来显著提高胸部异常定位模型的泛化能力，并引入新的损失技术来增强U-net模型在边界框分割上的性能，从而为胸部疾病诊断的精确性提供了有前景的解决方案，特别关注减少医疗保健中视觉错误的数量。

Nov, 2023

CARZero：放射学零样本分类的交叉注意力对齐

通过使用预训练模型在大规模图像-文本对上，集中于图像-文本对齐，推动了医学领域零样本学习的进展。然而，现有方法主要依赖于余弦相似度进行对齐，可能无法完全捕捉医学图像和报告之间复杂的关系。为了填补这一空白，我们引入了一种新的方法，称为交叉注意力对齐用于放射学零样本分类（CARZero）。我们的方法创新地利用交叉注意力机制处理图像和报告特征，创建一个更准确地反映医学语义中复杂关系的相似性表示。然后，将这个表示线性投影形成图像-文本相似性矩阵以进行跨模态对齐。此外，CARZero还将零样本学习中提示选择的关键作用纳入其中，采用基于大型语言模型的提示对齐策略。该策略将多样化的诊断表达规范化为统一格式，用于训练和推理阶段，克服了手动提示设计的挑战。我们的方法简单而有效，在包括长尾疾病分布数据集在内的五个官方胸部透视诊断测试集上展示了最先进的零样本分类性能，取得了显著的结果。这一成就归因于我们新的图像-文本对齐策略，有效地解决了医学图像和报告之间复杂的关系。

Feb, 2024

利用隐私保护的大型语言模型和多类型标注增强胸部 X 光数据集：提高分类的数据驱动方法

使用MAPLEZ方法，使用基于规则的系统从CXR报告中提取和增强发现标签，包括存在性、位置、严重程度以及放射科医生对发现的不确定性，并在分类监督中取得了显著的模型质量提升

Mar, 2024

皮肤科人工智能中零样本概念生成的数据对齐

人类语义相关且医学领域精确的元标签在皮肤病学中的AI分类模型培训中十分稀缺，CLIP模型可通过利用互联网上的大量图像-标题对进行零样本学习以解决数据缺乏的问题，并可以通过使用领域特定的图像-标题对对其进行微调来提高分类性能。

Apr, 2024

Lung-CADex：全自动胸部CT图像中肺结节的零样本检测和分类

肺癌的计算机辅助诊断使用大型视觉语言模型，通过CADe和CADx方法实现肺结节的分割和良性/恶性的特征对齐，具有较高的敏感度（0.86）。

Jul, 2024