multimodal federated learning | BriefGPT

关键词multimodal federated learning

搜索结果 - 5

在医学视觉与基于语言的疾病检测中研究多模态联邦学习中的模态不一致性
多模态联邦学习 (MMFL) 利用每个客户端的多个模态构建比单模态对应物更强大的联邦学习 (FL) 模型。然而，不同客户端的模态不一致性对其影响一直被大大忽视。本文首次分析模态不一致性的影响，并揭示其与参与客户端的数据异质性的联系。我们特别
PDF5 months ago
高效沟通的多模态联邦学习：联合选择模态与客户端
本文提出了一种新的多模型联邦学习方法（mmFedMC），它能够处理多模态设置中的挑战，实验结果表明该方法能够在减少通信开销的同时实现可比较的准确性。
PDF5 months ago
基于跨模态原型的严重缺失模态下的多模态联邦学习
本文提出了一种名为 “Multimodal Federated Cross Prototype Learning (MFCPL)” 的新方法，针对数据中存在严重缺失模态的多模态联邦学习（MFL）问题，通过使用完整的原型样本在共享模态级别和特
PDF5 months ago
多模式机器学习中通过原型掩码和对比度处理缺失模态
通过引入原型库到基于 FedAvg 的联邦学习框架，提出了一种解决模态缺失问题的方法，利用原型作为缺失模态的掩码来构建任务校准的训练损失和模型不可知的单模态推断策略，实验证明该方法在推断准确性方面达到了最先进水平。
PDF7 months ago
大型模型时代下的领域特定多模态联邦学习
多模态联邦学习框架用于实现跨场景的智能服务，利用多个企业的私有领域数据共同训练大型模型，解决多模态大模型在特定工业领域表现不佳的问题，进一步推动人工智能和多模态联邦学习的大规模工业应用和前沿研究。
PDF10 months ago