May, 2024

不完整感知模式下的联邦学习

PDF
TL;DR通过使用模拟技术，FLISM 框架能够学习稳健的表示，以处理缺失的传感器模态，并在模态不同的客户端之间传递模型知识。通过使用三个真实世界数据集和模拟结果进行评估，FLISM 在模型性能和系统效率之间取得了有效的平衡，提高了 F1-score 的 0.067 平均改进，并相较于解决不完整模态的现有方法，减少了通信（2.69 倍更快）和计算（2.28 倍更高效）开销。此外，在涉及更多模态任务的模拟场景中，FLISM 在通信效率上实现了 3.23 倍～85.10 倍的显著加速和 3.73 倍～32.29 倍的计算效率提升。
federated learningmobile sensing applicationsmultimodal flincomplete modalitiesflism
发现论文，激发创造
  • FedMFS：选择性模态通信的联邦多模融合学习

    本文提出了一种新的多模态融合联邦学习方法 (FedMFS)，通过利用 Shapley 值来量化每个模态的贡献和模态模型的大小来衡量通信开销，从而实现在性能与通信成本之间的灵活平衡，该方法在现实多模态数据集上的实验证明了其有效性，相比基线方法，减少了 1/20 的通信开销，同时达到可比的准确性。

    Oct, 2023

  • 跨模态渗透的平衡多模态联邦学习

    通过知识从全局优势形式中转移，我们提出了一种新颖的跨模态渗透联邦学习（FedCMI）框架，有效缓解分布式条件下的模态失衡和知识异质性问题，并且在弱模态中促进局部特征开发，实现了公平的类别性能表现。

    Dec, 2023

  • 利用基础模型进行多模态不完整模态联邦学习

    本文提出了一种新颖的多模态联邦学习方法 FedMVP，通过集成大规模预训练模型来增强联邦训练，解决了多模态数据集中可能丢失模态的问题，在客户端和服务器端分别采用不同的方法进行模态补全和模型聚合，并在实际图像 - 文本分类数据集上证明了该方法的卓越性能和对缺失模态的鲁棒性。

    Jun, 2024

  • 3FM: 多模式元学习用于联邦任务

    我们提出了一种面向联邦学习领域的新方法，特别关注应对模态异质性、客户端间模态可用性的差异和缺失数据的问题。我们介绍了一个专为多模态联邦任务设计的元学习框架，并通过对增强的 MNIST 数据集进行广泛的实验验证了我们提出的框架的有效性。我们的算法在一些缺失模态场景中通过元学习率的精细调整，实现了比基线更好的性能。

    Dec, 2023

  • 基于移动感知的增量半监督联邦学习进行健康推测

    移动感知技术结合联邦学习能在保护用户隐私的同时，有效识别类似流感症状，并通过增量半监督联邦学习算法在分散的在线环境中训练模型，取得最佳结果。

    Dec, 2023

  • 对比表示集成下的多模态联邦学习

    CreamFL 是一个支持多模态联邦学习的框架，实现了对客户侧使用异构模型结构和数据模态，从而提高了全局模型的复杂度和数据容量，同时使用公共数据集进行知识交流，并设计了全局本地交叉模态集成策略来聚合客户端表示。同时，它还提出两种模态间和模态内对比的策略来规范本地训练以达到全局的共识性。在图像 - 文本检索和视觉问答任务上的测试结果表明，它比目前流行的联邦学习方法要更好。

    Feb, 2023

  • FedMultimodal: 多模联邦学习基准测试

    引入 FedMultimodal，它是第一个 FL 基准，用于多模态学习，覆盖了来自十个常用数据集的五个代表性多模态应用程序，总共有八种独特方式。与现有的 FL 基准不同，FedMultimodal 提供了一种标准化方法来评估 FL 对实际多模态应用程序中的三种常见数据污染的鲁棒性：缺失模态，缺失标签和错误标签。

    Jun, 2023

  • 联邦学习在分布式多模遥感档案中的应用

    本文提出了一种新颖的多模式联邦学习框架，旨在从分散的多模式遥感图像档案中学习用于遥感图像分类问题，该框架由多模式融合（MF）、特征白化（FW）和互信息最大化（MIM）三个模块组成，实验结果表明，相对于迭代模型平均（IMA），所提出的框架有效。

    Jun, 2023

  • 多模态联邦学习在非 IID 数据集上用于癌症分期与不平衡特征的研究

    使用机器学习 (Machine Learning, ML) 和联邦学习 (Federated Learning, FL) 框架对医学影像进行癌症分期已引起了广泛的关注，并可以克服患者数据曝露的隐私问题。本文介绍了一种新颖的 FL 架构，可适应数据样本的异质性和基于机构的数据模态的不均匀性，通过分布式梯度融合和感知客户权重策略解决了跨多个数据模态的收敛速度差异挑战，并使用 The Cancer Genome Atlas 程序 (TCGA) 数据集进行实验证明方法的优越性。

    Jan, 2024

  • FedMM：计算病理学中具有模态异质性的联邦多模态学习

    提出并评估了一种名为 FedMM 的联邦多模态学习框架，该框架通过联邦训练多个单模态特征提取器来增强后续分类性能，以解决计算病理学中多模态信息融合的隐私问题。

    Feb, 2024