Mar, 2024
基于先验启发损失的单一共享网络的参数高效多模态皮肤病变分类
Single-Shared Network with Prior-Inspired Loss for Parameter-Efficient
Multi-Modal Imaging Skin Lesion Classification
TL;DR我们提出了一种多模态方法,通过单一网络高效地整合多尺度临床和皮肤镜特征,从而大幅减少模型参数。该方法包括三种新颖的融合方案,通过共享编码器参数并保留各自的模态专属分类器、使用共享的交叉注意力模块多层次地互动两种模态、以及通过引入偏置损失将皮肤镜信息优先于临床信息,隐式地学习更好的联合特征表示。在一个公认的关键点核查表(SPC)数据集和一个采集的数据集上进行的大量实验证明了我们方法在CNN和Transformer结构上的有效性。此外,与目前先进的方法相比,我们的方法在准确性和模型参数方面都表现出优势。