多模式机器学习中通过原型掩码和对比度处理缺失模态

Dec, 2023

多模式机器学习中通过原型掩码和对比度处理缺失模态

Multimodal Federated Learning with Missing Modality via Prototype Mask and Contrast

Guangyin Bao, Qi Zhang, Duoqian Miao, Zixuan Gong, Liang Hu

TL;DR通过引入原型库到基于 FedAvg 的联邦学习框架，提出了一种解决模态缺失问题的方法，利用原型作为缺失模态的掩码来构建任务校准的训练损失和模型不可知的单模态推断策略，实验证明该方法在推断准确性方面达到了最先进水平。

Abstract

In real-world scenarios, multimodal federated learning often faces the practical challenge of intricate modality missing, which poses constraints on building →

multimodal federated learning modality missing federated frameworks model inference accuracy prototype library

发现论文，激发创造

基于跨模态原型的严重缺失模态下的多模态联邦学习

本文提出了一种名为 “Multimodal Federated Cross Prototype Learning (MFCPL)” 的新方法，针对数据中存在严重缺失模态的多模态联邦学习（MFL）问题，通过使用完整的原型样本在共享模态级别和特定模态级别上运用交叉模态正则化和交叉模态对比机制，为提供多样化的模态知识，引入交叉模态对齐来增强特定模态特征的整体性能，尤其在存在严重缺失模态的场景中表现出优异的效果。通过对三个多模态数据集的广泛实验，我们证明了 MFCPL 在减轻这些挑战和提高整体性能方面的有效性。

Jan, 2024

利用基础模型进行多模态不完整模态联邦学习

本文提出了一种新颖的多模态联邦学习方法 FedMVP，通过集成大规模预训练模型来增强联邦训练，解决了多模态数据集中可能丢失模态的问题，在客户端和服务器端分别采用不同的方法进行模态补全和模型聚合，并在实际图像 - 文本分类数据集上证明了该方法的卓越性能和对缺失模态的鲁棒性。

Jun, 2024

处理所有阶段缺失的形式：朝着具有健壮重建和个性化能力的通用模型

提出了一种具有模态重建和模型个性化的健壮的通用模型，能够在训练和测试阶段有效地处理缺失的模态，通过多模态掩码自编码器重构缺失的模态和掩码补丁，利用创新的分布近似机制充分利用完整和不完整的数据，提出了基于 CLIP 的超网络来个性化模型参数，能够适应不同的缺失模态场景，并在两个脑肿瘤分割基准上得到广泛验证，在不同缺失比例的全阶段缺失模态设置下始终超过先前最先进的方法，代码将可用。

Jun, 2024

半监督多模式语义分割中的缺失模态稳健性

提出一种简单且高效的多模态融合机制：线性融合（Linear Fusion），通过半监督学习的方式提高了多模态语义分割的性能，并使模型对现实世界中缺失模态的情况更加健壮。

Apr, 2023

不完整多模态 MRI 重建的联合伪模态生成

在联邦多模态 MRI 重建中，我们提出了一种名为 Fed-PMG 的新型通信高效的联邦学习框架，以解决缺失模态的挑战，并通过伪模态生成机制和聚类方案降低通信成本。

Aug, 2023

3FM: 多模式元学习用于联邦任务

我们提出了一种面向联邦学习领域的新方法，特别关注应对模态异质性、客户端间模态可用性的差异和缺失数据的问题。我们介绍了一个专为多模态联邦任务设计的元学习框架，并通过对增强的 MNIST 数据集进行广泛的实验验证了我们提出的框架的有效性。我们的算法在一些缺失模态场景中通过元学习率的精细调整，实现了比基线更好的性能。

Dec, 2023

借宝于邻：针对多模态学习的上下文学习在缺失模态和数据稀缺情况下的应用

通过使用检索增强上下文学习来解决多模态机器学习中缺失模态和样本有限的问题，提高分类模型性能和样本效率。

Mar, 2024

多模态视觉识别中缺失模态的多模态提示

本文提出一种使用 prompt learning 的多模态学习框架，从而解决真实世界中遇到的模态缺失和模型训练资源需要的挑战。框架中含有 modality-missing-aware prompts，可插入到多模态 transformers 中处理不同的模态缺失情况，同时只需要少于 1% 的可学习参数。实验结果表明，该框架有效地提高了在各种模态缺失情况下的性能。

Mar, 2023

物联网数据上的多模态联邦学习

本文提出一种多模态和半监督联邦学习框架，利用自编码器从不同本地数据模态中提取共享和相关表示，并使用多模态 FedAvg 算法聚合不同数据模态上训练的本地自编码器。实证结果表明，引入多模态数据可以提高联邦学习的分类性能。

Sep, 2021

面向缺失模态鲁棒性行为识别的良好实践

本文针对多模态动作识别及其中一些模态不可用情况提出一套良好的实践方法，包括数据增强、基于 Transformer 的融合方法以及一个名为 ActionMAE 的模块化网络。通过采用这些方法，建立一个不仅在多模态动作识别中有效，同时对于模态缺失情况也具有鲁棒性的模型，并在多个基准测试中实现了最新技术，并在模态缺失场景中保持有竞争力的表现。

Nov, 2022