物联网数据上的多模态联邦学习
提出了一种基于联邦转移学习的智能设备多模态数据联合训练框架，分组采用有监督学习和自监督学习，实现了数据隐私保护和模型迁移，该框架在不同设备间收集数据并保持联邦学习的特性。
Sep, 2022
多模态联邦学习框架用于实现跨场景的智能服务，利用多个企业的私有领域数据共同训练大型模型，解决多模态大模型在特定工业领域表现不佳的问题，进一步推动人工智能和多模态联邦学习的大规模工业应用和前沿研究。
Aug, 2023
我们提出了一种面向联邦学习领域的新方法，特别关注应对模态异质性、客户端间模态可用性的差异和缺失数据的问题。我们介绍了一个专为多模态联邦任务设计的元学习框架，并通过对增强的 MNIST 数据集进行广泛的实验验证了我们提出的框架的有效性。我们的算法在一些缺失模态场景中通过元学习率的精细调整，实现了比基线更好的性能。
Dec, 2023
CreamFL 是一个支持多模态联邦学习的框架，实现了对客户侧使用异构模型结构和数据模态，从而提高了全局模型的复杂度和数据容量，同时使用公共数据集进行知识交流，并设计了全局本地交叉模态集成策略来聚合客户端表示。同时，它还提出两种模态间和模态内对比的策略来规范本地训练以达到全局的共识性。在图像 - 文本检索和视觉问答任务上的测试结果表明，它比目前流行的联邦学习方法要更好。
Feb, 2023
本文提出了一种新的多模态融合联邦学习方法 (FedMFS)，通过利用 Shapley 值来量化每个模态的贡献和模态模型的大小来衡量通信开销，从而实现在性能与通信成本之间的灵活平衡，该方法在现实多模态数据集上的实验证明了其有效性，相比基线方法，减少了 1/20 的通信开销，同时达到可比的准确性。
Oct, 2023
引入 FedMultimodal，它是第一个 FL 基准，用于多模态学习，覆盖了来自十个常用数据集的五个代表性多模态应用程序，总共有八种独特方式。与现有的 FL 基准不同，FedMultimodal 提供了一种标准化方法来评估 FL 对实际多模态应用程序中的三种常见数据污染的鲁棒性：缺失模态，缺失标签和错误标签。
Jun, 2023
本文研究联邦学习在物联网恶意软件检测中的应用及其安全问题。其中提出了一种使用联邦学习检测影响 IoT 设备的恶意软件的框架，并使用 N-BaIoT 数据集进行评估。研究表明，与传统方法相比，联邦学习方法可以显著提高模型性能，并且在保护用户隐私的前提下，其结果与集中式方法相似。此外，针对恶意攻击提出的其他模型聚合函数也可以提供显著改进，但需要进一步研究来提高联邦学习方法的鲁棒性。
Apr, 2021
FedFusion 是一种基于流形的多模态融合框架，通过联合估计每个客户端的浅层特征的显著流形结构，并通过级联和加法方法将特征矩阵压缩为低秩子空间，作为后续分类器的特征输入，从而解决多卫星、多模态数据的联合融合问题。该框架在三个多模态数据集上的性能表现超过现有方法，达到 94.35% 的分类平均准确率，同时将通信成本压缩了 4 倍，并在基于 Jetson TX2 工业模块的轨道边缘计算架构上进行了广泛的真实卫星图像的数值评估，结果显示 FedFusion 将训练时间缩短了 48.4 分钟（15.18%），同时优化了准确性。
Nov, 2023
通过引入半监督学习方法和知识迁移机制，我们提出了一种新颖的多模态联邦学习框架 FedMEKT，该框架在多个客户端之间协作训练一个广义全局模型，克服了单模态数据和标记数据约束的问题，并且较其他基准方法具有更高的全局编码器性能、保证了用户数据和模型参数的隐私，并且通信成本较低。
Jul, 2023