CreamFL是一个支持多模态联邦学习的框架，实现了对客户侧使用异构模型结构和数据模态，从而提高了全局模型的复杂度和数据容量，同时使用公共数据集进行知识交流，并设计了全局本地交叉模态集成策略来聚合客户端表示。同时，它还提出两种模态间和模态内对比的策略来规范本地训练以达到全局的共识性。在图像-文本检索和视觉问答任务上的测试结果表明，它比目前流行的联邦学习方法要更好。

Feb, 2023

多模态机器学习和联邦学习在医疗领域具有重要意义，并提出了多模态联邦学习在医疗领域的最新方法。此外，研究还揭示了领域中现有挑战的局限性，并提出了未来发展的方向，以满足医疗应用中尖端人工智能技术和患者数据隐私的迫切需求。

Oct, 2023

通过引入原型库到基于FedAvg的联邦学习框架，提出了一种解决模态缺失问题的方法，利用原型作为缺失模态的掩码来构建任务校准的训练损失和模型不可知的单模态推断策略，实验证明该方法在推断准确性方面达到了最先进水平。

Dec, 2023

通过知识从全局优势形式中转移，我们提出了一种新颖的跨模态渗透联邦学习（FedCMI）框架，有效缓解分布式条件下的模态失衡和知识异质性问题，并且在弱模态中促进局部特征开发，实现了公平的类别性能表现。

Dec, 2023

本文提出了一种名为“Multimodal Federated Cross Prototype Learning (MFCPL)”的新方法，针对数据中存在严重缺失模态的多模态联邦学习（MFL）问题，通过使用完整的原型样本在共享模态级别和特定模态级别上运用交叉模态正则化和交叉模态对比机制，为提供多样化的模态知识，引入交叉模态对齐来增强特定模态特征的整体性能，尤其在存在严重缺失模态的场景中表现出优异的效果。通过对三个多模态数据集的广泛实验，我们证明了 MFCPL 在减轻这些挑战和提高整体性能方面的有效性。

Jan, 2024

多模态联邦学习(MMFL)利用每个客户端的多个模态构建比单模态对应物更强大的联邦学习(FL)模型。然而，不同客户端的模态不一致性对其影响一直被大大忽视。本文首次分析模态不一致性的影响，并揭示其与参与客户端的数据异质性的联系。我们特别研究了不一致的多模态客户端和单模态FL的可行性，并研究了解决此问题的三种潜在途径。首先，我们研究了各种自注意机制对MMFL中的不一致性不可知信息融合的有效性。其次，我们引入了在多模态客户端中预先训练的模态补全网络(MIN)，研究其在单模态客户端中模态转换中减轻缺失模态问题的潜力。第三，我们评估了客户端级和服务器级正则化技术对减轻模态不一致性效果的能力。实验证明在两个公开的真实世界数据集MIMIC-CXR和Open-I上，我们在几种MMFL设置下进行了实验，其中包括胸部X射线和放射学报告。

Feb, 2024

提出并评估了一种名为FedMM的联邦多模态学习框架，该框架通过联邦训练多个单模态特征提取器来增强后续分类性能，以解决计算病理学中多模态信息融合的隐私问题。

Feb, 2024

通过使用检索增强上下文学习来解决多模态机器学习中缺失模态和样本有限的问题，提高分类模型性能和样本效率。

Mar, 2024

在视觉语言领域中，通过利用转换器架构对现有方法进行系统评估，并引入一种名为FedCola的新框架，填补了关于不配对的单模客户端和FL中转换器架构的研究空白。通过在各种FL设置下进行广泛实验，FedCola展示了优于先前方法的性能，为未来多模态转换器的联邦训练提供了新的观点。

Apr, 2024

本文提出了一种新颖的多模态联邦学习方法FedMVP，通过集成大规模预训练模型来增强联邦训练，解决了多模态数据集中可能丢失模态的问题，在客户端和服务器端分别采用不同的方法进行模态补全和模型聚合，并在实际图像-文本分类数据集上证明了该方法的卓越性能和对缺失模态的鲁棒性。

Jun, 2024