CVPRMar, 2024
增强病理检测的疾病描述分解：一种多方面的视觉语言匹配框架
Decomposing Disease Descriptions for Enhanced Pathology Detection: A Multi-Aspect Vision-Language Matching Framework
Minh Hieu Phan, Yutong Xie, Yuankai Qi, Lingqiao Liu, Liyang Liu...
TL;DR通过咨询大型语言模型和医学专家，我们提出了一种新颖的 VLP 框架，将疾病描述分解为基本要素，利用对病理学可视表现的先前知识。通过整合 Transformer 模块，我们的方法将输入图像与疾病的多个要素进行对齐，生成以要素为中心的图像表示。通过整合每个要素的匹配，我们改善了图像与其相关疾病之间的兼容性。此外，我们还提出了一个面向要素的双头 Transformer，用于处理已知和未知疾病，以优化综合检测效果。在七个数据集上进行实验证明，我们的方法在已见类别和新颖类别的 AUC 得分上分别超过最近的方法 8.07% 和 11.23%。