Mar, 2024
基于先验启发损失的单一共享网络的参数高效多模态皮肤病变分类
Single-Shared Network with Prior-Inspired Loss for Parameter-Efficient Multi-Modal Imaging Skin Lesion Classification
Peng Tang, Tobias Lasser
TL;DR我们提出了一种多模态方法，通过单一网络高效地整合多尺度临床和皮肤镜特征，从而大幅减少模型参数。该方法包括三种新颖的融合方案，通过共享编码器参数并保留各自的模态专属分类器、使用共享的交叉注意力模块多层次地互动两种模态、以及通过引入偏置损失将皮肤镜信息优先于临床信息，隐式地学习更好的联合特征表示。在一个公认的关键点核查表（SPC）数据集和一个采集的数据集上进行的大量实验证明了我们方法在 CNN 和 Transformer 结构上的有效性。此外，与目前先进的方法相比，我们的方法在准确性和模型参数方面都表现出优势。