多模态机器学习和联邦学习在医疗领域具有重要意义，并提出了多模态联邦学习在医疗领域的最新方法。此外，研究还揭示了领域中现有挑战的局限性，并提出了未来发展的方向，以满足医疗应用中尖端人工智能技术和患者数据隐私的迫切需求。

Oct, 2023

通过知识从全局优势形式中转移，我们提出了一种新颖的跨模态渗透联邦学习（FedCMI）框架，有效缓解分布式条件下的模态失衡和知识异质性问题，并且在弱模态中促进局部特征开发，实现了公平的类别性能表现。

Dec, 2023

使用机器学习 (Machine Learning, ML) 和联邦学习 (Federated Learning, FL) 框架对医学影像进行癌症分期已引起了广泛的关注，并可以克服患者数据曝露的隐私问题。本文介绍了一种新颖的 FL 架构，可适应数据样本的异质性和基于机构的数据模态的不均匀性，通过分布式梯度融合和感知客户权重策略解决了跨多个数据模态的收敛速度差异挑战，并使用 The Cancer Genome Atlas 程序 (TCGA) 数据集进行实验证明方法的优越性。

Jan, 2024

本文提出了一种新的多模态融合联邦学习方法 (FedMFS)，通过利用 Shapley 值来量化每个模态的贡献和模态模型的大小来衡量通信开销，从而实现在性能与通信成本之间的灵活平衡，该方法在现实多模态数据集上的实验证明了其有效性，相比基线方法，减少了 1/20 的通信开销，同时达到可比的准确性。

Oct, 2023

引入 FedMultimodal，它是第一个 FL 基准，用于多模态学习，覆盖了来自十个常用数据集的五个代表性多模态应用程序，总共有八种独特方式。与现有的 FL 基准不同，FedMultimodal 提供了一种标准化方法来评估 FL 对实际多模态应用程序中的三种常见数据污染的鲁棒性：缺失模态，缺失标签和错误标签。

Jun, 2023

我们提出了一种面向联邦学习领域的新方法，特别关注应对模态异质性、客户端间模态可用性的差异和缺失数据的问题。我们介绍了一个专为多模态联邦任务设计的元学习框架，并通过对增强的 MNIST 数据集进行广泛的实验验证了我们提出的框架的有效性。我们的算法在一些缺失模态场景中通过元学习率的精细调整，实现了比基线更好的性能。

Dec, 2023

本文提出了一种新颖的多模态联邦学习方法 FedMVP，通过集成大规模预训练模型来增强联邦训练，解决了多模态数据集中可能丢失模态的问题，在客户端和服务器端分别采用不同的方法进行模态补全和模型聚合，并在实际图像 - 文本分类数据集上证明了该方法的卓越性能和对缺失模态的鲁棒性。

Jun, 2024

我们提出了一种新的联邦多模态编码器和多模态锚点 (FedMEMA) 的联邦学习框架，可以同时解决两个并发问题，即跨模态异质性和个性化模型。

Mar, 2024

本文提出了一种名为 MDH-FL 的方法，利用数据和模型的异质性，通过知识蒸馏和对称损失来提高联邦学习中全局模型的效率，实验证明该方法在医学数据集上比现有方法表现出更好的优越性。

Jul, 2023

本文提出了一种新的多模型联邦学习方法（mmFedMC），它能够处理多模态设置中的挑战，实验结果表明该方法能够在减少通信开销的同时实现可比较的准确性。

Jan, 2024