针对联邦学习中的开放词汇挑战，本研究提出一种名为联邦多模态原型 (Fed-MP) 的适应性聚合框架以及一种基于轻量级客户端残差的多模态原型机制，从而在联邦学习背景下，利用预训练的视觉 - 语言模型进行知识学习，并使该模型适应未曾见过的类别。经过对多种数据集的实证评估，验证了 Fed-MP 的有效性。

Apr, 2024

本文提出了一种新颖的多模态联邦学习方法 FedMVP，通过集成大规模预训练模型来增强联邦训练，解决了多模态数据集中可能丢失模态的问题，在客户端和服务器端分别采用不同的方法进行模态补全和模型聚合，并在实际图像 - 文本分类数据集上证明了该方法的卓越性能和对缺失模态的鲁棒性。

Jun, 2024

垂直联邦学习（VFL）在学术界和工业界引起了广泛关注，它具有广泛的实际应用。本文提出了一种新颖的 VFL 混合本地预训练（VFLHLP）方法，通过预训练本地网络来调整标记方的子模型或增强其他方在对齐数据上的表示学习，以提高联邦模型的性能。

May, 2024

本论文提出了一个基于联合多视图学习的框架，用于多视图数据泄露预防，以解决医学数据分布困难、数据来源异构等问题。该框架兼容垂直联合多视图学习和水平联合多视图学习两种问题，并通过键盘数据的实验验证表明，该方法可以在保护隐私的同时充分利用多视图数据，同时 V-FedMV 和 H-FedMV 方法的表现都显著好于其单视图和成对对应方法。此框架是首个考虑在联合多视图设置中进行垂直和水平多样化以及顺序联合学习的研究。

May, 2021

通过提出一个高质量的医学放射照片数据集 (RadioGraphy Captions)，本文对医学领域的视觉 - 语言 (VL) 预训练 (VLP) 进行了深入的实验分析，得出了一些指导未来医学 VL 任务研究和新的强基准的关键结论。

Jun, 2023

垂直联邦学习（VFL）作为一种集成样本对齐和特征汇聚的新型训练范例，受到了越来越多的关注。然而，现有的 VFL 方法在处理参与者之间的异构本地模型时面临挑战，影响了优化收敛和泛化能力。为了解决这个问题，本文提出了一种新颖的方法，称为垂直联邦学习用于训练多方异构模型（VFedMH）。VFedMH 专注于聚合每个参与者的知识嵌入，而不是在前向传播过程中聚合中间结果。通过安全地聚合本地嵌入获取全局知识嵌入，并将其发送给被动方。然后，被动方利用全局嵌入在本地异构网络上进行前向传播。然而，被动方没有标签，因此无法在本地计算本地模型的梯度。为了克服这个局限性，主动方协助被动方计算其本地异构模型梯度。然后，每个参与者使用异构模型梯度训练其本地模型，目标是最小化各自本地异构模型的损失值。此外，本文还对 VFedMH 的收敛性能进行了理论分析。通过大量实验证明，VFedMH 能够同时训练多个异构模型，并在模型性能方面超过一些最近的方法。

Oct, 2023

本文提出了一种新的联邦虚拟学习方法，名为 Federated Virtual Learning on Heterogeneous Data with Local-Global Distillation (FEDLGD)，通过使用本地和全局蒸馏创建一个更小的合成数据集，以训练联邦学习，并解决了数据异构性带来的问题。实验表明，该方法在具有非常有限数量的精制虚拟数据的情况下，优于当前领先的异构 FL 算法。

Mar, 2023

该论文提出了一种融合 Federated Learning 和 parameter-efficient adapters (LoRA) 的方法，以训练视觉语言模型 (VLMs)，该方法通过在分散的数据源上训练模型来保护数据隐私，并通过 LoRA 的参数高效微调来确保模型的适应性和效率。该方法加快了训练速度，比全面微调节省了 2.47 倍的内存使用。

Apr, 2024

CreamFL 是一个支持多模态联邦学习的框架，实现了对客户侧使用异构模型结构和数据模态，从而提高了全局模型的复杂度和数据容量，同时使用公共数据集进行知识交流，并设计了全局本地交叉模态集成策略来聚合客户端表示。同时，它还提出两种模态间和模态内对比的策略来规范本地训练以达到全局的共识性。在图像 - 文本检索和视觉问答任务上的测试结果表明，它比目前流行的联邦学习方法要更好。

Feb, 2023

该论文介绍了一个针对医学实体标注等下游任务的大规模多语言模型的联邦学习系统，它能够跨越高度异质化的数据提供者进行训练，并通过本地训练步骤进一步提高全局模型的性能。

Nov, 2022