Apr, 2024
PEMMA: 用于医学图像分割的参数高效多模态适应性
PEMMA: Parameter-Efficient Multi-Modal Adaptation for Medical Image Segmentation
Nada Saadi, Numan Saeed, Mohammad Yaqub, Karthik Nandakumar
TL;DR提出了一种适用于基于 CT 扫描模型的轻量级升级的参数高效多模态适应（PEMMA）框架，以将 PET 扫描纳入其中，通过将注意力权重进行低秩适应（LoRA）实现参数高效调整，同时最小化交叉模态耦合，使单一模态下训练和更新联合模型成为可能，并且在仅训练单一模态时，在可训练参数仅为 8% 的情况下，实现了与早期融合技术相当的结果，并在 PET 扫描的平均 Dice 分数上取得了显著的 + 28% 改善。