基于对比学习的光谱知识蒸馏在语义分割中的多模态和缺失模态场景下的应用

Dec, 2023

基于对比学习的光谱知识蒸馏在语义分割中的多模态和缺失模态场景下的应用

Contrastive Learning-Based Spectral Knowledge Distillation for Multi-Modality and Missing Modality Scenarios in Semantic Segmentation

PDF

Aniruddh Sikdar, Jayant Teotia, Suresh Sundaram

TL;DR通过使用多光谱信息来提高语义分割模型的性能对于低光和恶劣环境至关重要。提出了一种名为 CSK-Net 的新型多模态融合方法，它利用对比学习为光学（EO）和红外（IR）图像的语义分割提供了基于光谱知识蒸馏的融合技术。该方法不仅在多模态任务上超过了现有的模型，而且在缺失模态的情况下，仅利用 IR 数据进行推断就能提高性能，而与基线分割模型相比，并没有额外的计算成本。

Abstract

Improving the performance of semantic segmentation models using multispectral information is crucial, especially for environments with low-light and adverse conditions. multi-modal fusion techniques pursue either

semantic segmentation multi-modal fusion csk-net spectral knowledge distillation missing modalities

发现论文，激发创造

CSAKD: 跨自注意力知识蒸馏用于高光谱和多光谱图像融合

提出了一种新颖的知识蒸馏框架以实现低分辨率高光谱图像的超分辨率，该框架通过使用交叉层残差聚合模块增强效率，同时从低分辨率高光谱图像和高分辨率多光谱图像中提取联合和独立特征，并采用交叉自注意力融合模块适应性地融合这些特征，以提高重构的高分辨率高光谱图像的空间和光谱质量。

Jun, 2024

基于知识蒸馏的非配对多模式分割

本研究提出了一种新颖的多模式学习方案，以实现无配对交叉模态图像分割，该方案采用高度压缩的体系结构，通过共享所有卷积核跨 CT 和 MRI 和仅使用特定于模态的内部归一化层来对网络参数进行大量重用，通过知识蒸馏受启发的新颖损失项来显式约束我们推导出的模态之间的预测分布的 KL 散度来有效地训练这样的高度紧凑模型。在心脏结构分割和腹部器官分割两个多类分割问题上进行了广泛验证，实验结果表明，我们的新型多模式学习方案在两个任务上一致优于单模态培训和以前的多模式方法。

Jan, 2020

增强多模态学习：元学习的跨模态知识蒸馏处理缺失模态

我们提出了一种称为元学习的跨模态知识蒸馏的新方法，可以使多模态模型在缺少重要模态的情况下仍具有高准确性。该方法通过自适应估计每种模态的重要性权重，并利用跨模态知识蒸馏将高重要性权重的模态的知识转移到低重要性权重的模态上，从而产生高准确性模型。该方法在多个任务中有效，并实验结果表明在脑肿瘤分割和音视觉 - MNIST 分类方面，优于现有的模型。

May, 2024

多模态到单模态的分割网络知识蒸馏

本文介绍了一个用于医学图像分割的 KD-Net 框架，该框架可以从一个多模态网络（teacher）向一个单模态网络（student）传输知识，证明了其在使用 BraTS 2018 数据集进行脑肿瘤分割任务时，有效提高了分割的准确性。

Jun, 2021

基于相关性解耦的多模态不完整情感分析知识蒸馏

我们提出了一个面对不确定缺失模态的多模态情感分析任务的相关解耦知识蒸馏（CorrKD）框架，通过样本级对比蒸馏机制和类别引导的原型蒸馏机制，重构缺失的语义，捕捉交叉类别相关性，并通过响应解耦和互信息最大化优化学生网络的情感决策边界，实验表明我们的框架在三个数据集上相比几个基准模型取得了明显的改进。

Apr, 2024

可学习的跨模态知识蒸馏在多模态学习中的应用与缺失模态

本文提出了一种可学习的跨模态知识蒸馏（LCKD）模型，通过从最佳性能模态中提取有用信息，自适应地识别重要模态并将知识蒸馏给其他模态，从而解决了缺失模态问题，实验证明 LCKD 在肿瘤分割中的表现超过其他方法，分割 Dice 分数提高了 3.61％、5.99％和 3.76％。

Oct, 2023

一阶段模态蒸馏用于不完整多模态学习

基于多模态数据的学习近年来引起了越来越多的关注。尽管可以采集各种感官模态进行训练，但并不总是能在开发场景中获得所有的模态，这给基于不完整模态的推断带来了挑战。为了解决这个问题，本文提出了一个一阶段模态蒸馏框架，通过多任务学习将特权知识传递和模态信息融合统一为一个优化过程。与独立执行它们的传统模态蒸馏相比，这有助于直接捕捉有助于最终模型推断的有价值表征。本文具体介绍了模态转换任务的联合适应网络，以保留特权信息。通过联合分布适应解决由输入差异引起的表示异质性。然后，我们介绍了模态融合任务的交叉翻译网络，以聚合恢复和可用的模态特征。它利用参数共享策略明确捕捉跨模态线索。在 RGB-D 分类和分割任务上的大量实验证明，提出的多模态继承框架可以克服各种场景中不完整模态输入的问题，并实现最先进的性能。

Sep, 2023

多任务多尺度对比知识蒸馏在高效医学图像分割中的应用

本研究旨在探究神经网络在医学图像分割任务中的知识迁移可行性，特别关注从大规模多任务的 “教师” 网络向更小的 “学生” 网络的迁移。我们通过多尺度特征蒸馏和监督对比学习的结构，通过整合从教师模型获取的知识表示来提高学生模型的性能，并通过大量实验和消融研究评估了多尺度特征蒸馏的影响，以及不同损失对知识迁移的整体性能的影响。

Jun, 2024

跨模态对比学习蒸馏理论研究

跨模态蒸馏是一个重要主题，用于包含有限知识的数据模态，如深度图和高质量素描。我们提出了一个基于对比学习的跨模态对比蒸馏（CMCD）的通用框架，该框架利用正负对应关系更好地蒸馏可泛化的特征，并在实验结果和收敛分析中验证了源模态和目标模态之间的距离对目标模态下游任务的测试误差有着显著影响。

May, 2024

利用在线互相知识蒸馏实现跨模态医学图像分割

本文提出了一种利用形状先验知识和图像对齐模块，通过多模态数据协同分割医学图像的方法，并通过实验在 MMWHS 2017 数据集上验证了该方法在 CT 分割上的优越性。

Oct, 2020