Feb, 2024
CARZero：放射学零样本分类的交叉注意力对齐
CARZero: Cross-Attention Alignment for Radiology Zero-Shot Classification
Haoran Lai, Qingsong Yao, Zihang Jiang, Rongsheng Wang, Zhiyang He...
TL;DR通过使用预训练模型在大规模图像 - 文本对上，集中于图像 - 文本对齐，推动了医学领域零样本学习的进展。然而，现有方法主要依赖于余弦相似度进行对齐，可能无法完全捕捉医学图像和报告之间复杂的关系。为了填补这一空白，我们引入了一种新的方法，称为交叉注意力对齐用于放射学零样本分类（CARZero）。我们的方法创新地利用交叉注意力机制处理图像和报告特征，创建一个更准确地反映医学语义中复杂关系的相似性表示。然后，将这个表示线性投影形成图像 - 文本相似性矩阵以进行跨模态对齐。此外，CARZero 还将零样本学习中提示选择的关键作用纳入其中，采用基于大型语言模型的提示对齐策略。该策略将多样化的诊断表达规范化为统一格式，用于训练和推理阶段，克服了手动提示设计的挑战。我们的方法简单而有效，在包括长尾疾病分布数据集在内的五个官方胸部透视诊断测试集上展示了最先进的零样本分类性能，取得了显著的结果。这一成就归因于我们新的图像 - 文本对齐策略，有效地解决了医学图像和报告之间复杂的关系。