朝着联邦学习中的多模态 Transformer

Apr, 2024

朝着联邦学习中的多模态 Transformer

Towards Multi-modal Transformers in Federated Learning

Guangyu Sun, Matias Mendieta, Aritra Dutta, Xin Li, Chen Chen

TL;DR在视觉语言领域中，通过利用转换器架构对现有方法进行系统评估，并引入一种名为 FedCola 的新框架，填补了关于不配对的单模客户端和 FL 中转换器架构的研究空白。通过在各种 FL 设置下进行广泛实验，FedCola 展示了优于先前方法的性能，为未来多模态转换器的联邦训练提供了新的观点。

Abstract

multi-modal transformers mark significant progress in different domains, but siloed high-quality data hinders their further improvement. To remedy this, federated learning (FL) has emerged as a promising privacy-

multi-modal transformers federated learning transfer multi-modal federated learning vision-language domain federated modality complementary and collaboration (fedcola)

发现论文，激发创造

利用基础模型进行多模态不完整模态联邦学习

本文提出了一种新颖的多模态联邦学习方法 FedMVP，通过集成大规模预训练模型来增强联邦训练，解决了多模态数据集中可能丢失模态的问题，在客户端和服务器端分别采用不同的方法进行模态补全和模型聚合，并在实际图像 - 文本分类数据集上证明了该方法的卓越性能和对缺失模态的鲁棒性。

Jun, 2024

跨模态渗透的平衡多模态联邦学习

通过知识从全局优势形式中转移，我们提出了一种新颖的跨模态渗透联邦学习（FedCMI）框架，有效缓解分布式条件下的模态失衡和知识异质性问题，并且在弱模态中促进局部特征开发，实现了公平的类别性能表现。

Dec, 2023

3FM: 多模式元学习用于联邦任务

我们提出了一种面向联邦学习领域的新方法，特别关注应对模态异质性、客户端间模态可用性的差异和缺失数据的问题。我们介绍了一个专为多模态联邦任务设计的元学习框架，并通过对增强的 MNIST 数据集进行广泛的实验验证了我们提出的框架的有效性。我们的算法在一些缺失模态场景中通过元学习率的精细调整，实现了比基线更好的性能。

Dec, 2023

FedMultimodal: 多模联邦学习基准测试

引入 FedMultimodal，它是第一个 FL 基准，用于多模态学习，覆盖了来自十个常用数据集的五个代表性多模态应用程序，总共有八种独特方式。与现有的 FL 基准不同，FedMultimodal 提供了一种标准化方法来评估 FL 对实际多模态应用程序中的三种常见数据污染的鲁棒性：缺失模态，缺失标签和错误标签。

Jun, 2023

对比表示集成下的多模态联邦学习

CreamFL 是一个支持多模态联邦学习的框架，实现了对客户侧使用异构模型结构和数据模态，从而提高了全局模型的复杂度和数据容量，同时使用公共数据集进行知识交流，并设计了全局本地交叉模态集成策略来聚合客户端表示。同时，它还提出两种模态间和模态内对比的策略来规范本地训练以达到全局的共识性。在图像 - 文本检索和视觉问答任务上的测试结果表明，它比目前流行的联邦学习方法要更好。

Feb, 2023

FedMEKT: 基于蒸馏的多模态联邦学习嵌入式知识传递

通过引入半监督学习方法和知识迁移机制，我们提出了一种新颖的多模态联邦学习框架 FedMEKT，该框架在多个客户端之间协作训练一个广义全局模型，克服了单模态数据和标记数据约束的问题，并且较其他基准方法具有更高的全局编码器性能、保证了用户数据和模型参数的隐私，并且通信成本较低。

Jul, 2023

语言引导的联邦多标签分类的 Transformer

提出了一种用于多标签分类的新型联邦学习框架（FedLGT），旨在解决用户异构性和标签相关性等挑战，通过在不同客户端之间传递知识来学习出稳健的全局模型，实验证明在多标签联邦学习场景下超过了标准联邦学习技术，并获得了令人满意的性能。

Dec, 2023

基于跨模态原型的严重缺失模态下的多模态联邦学习

本文提出了一种名为 “Multimodal Federated Cross Prototype Learning (MFCPL)” 的新方法，针对数据中存在严重缺失模态的多模态联邦学习（MFL）问题，通过使用完整的原型样本在共享模态级别和特定模态级别上运用交叉模态正则化和交叉模态对比机制，为提供多样化的模态知识，引入交叉模态对齐来增强特定模态特征的整体性能，尤其在存在严重缺失模态的场景中表现出优异的效果。通过对三个多模态数据集的广泛实验，我们证明了 MFCPL 在减轻这些挑战和提高整体性能方面的有效性。

Jan, 2024

客户端智能模态选择用于平衡多模态联邦学习

为了解决传统在多模态联邦学习中出现的模态失衡问题，提出了一种基于客户端的模态选择方案 CMSFed，该方案可以全面利用每个模态的信息，避免由模态不平衡引起的客户端选择偏差，通过选择性地使用不同模态的本地数据参与本地训练和聚合，来减轻全局模型的潜在模态失衡，并引入了一种新的局部训练损失函数来增强弱模态并调整由不一致的模态采用策略引起的特征空间差异，同时设计了一种模态级梯度解耦方法来维持选择过程中的梯度差异，并根据每次迭代中的本地模态失衡平衡多模态联邦学习。大量实验证明了 CMSFed 的优越性和其在多模态数据利用中的有效性。

Dec, 2023

FedMM：计算病理学中具有模态异质性的联邦多模态学习

提出并评估了一种名为 FedMM 的联邦多模态学习框架，该框架通过联邦训练多个单模态特征提取器来增强后续分类性能，以解决计算病理学中多模态信息融合的隐私问题。

Feb, 2024