Mar, 2024
增强病理检测的疾病描述分解:一种多方面的视觉语言匹配框架
Decomposing Disease Descriptions for Enhanced Pathology Detection: A
Multi-Aspect Vision-Language Matching Framework
TL;DR通过咨询大型语言模型和医学专家,我们提出了一种新颖的VLP框架,将疾病描述分解为基本要素,利用对病理学可视表现的先前知识。通过整合Transformer模块,我们的方法将输入图像与疾病的多个要素进行对齐,生成以要素为中心的图像表示。通过整合每个要素的匹配,我们改善了图像与其相关疾病之间的兼容性。此外,我们还提出了一个面向要素的双头Transformer,用于处理已知和未知疾病,以优化综合检测效果。在七个数据集上进行实验证明,我们的方法在已见类别和新颖类别的AUC得分上分别超过最近的方法8.07%和11.23%。