多模态数据的联邦迁移学习
本文提出一种多模态和半监督联邦学习框架，利用自编码器从不同本地数据模态中提取共享和相关表示，并使用多模态 FedAvg 算法聚合不同数据模态上训练的本地自编码器。实证结果表明，引入多模态数据可以提高联邦学习的分类性能。
Sep, 2021
多模态联邦学习框架用于实现跨场景的智能服务，利用多个企业的私有领域数据共同训练大型模型，解决多模态大模型在特定工业领域表现不佳的问题，进一步推动人工智能和多模态联邦学习的大规模工业应用和前沿研究。
Aug, 2023
本文介绍了一种新的技术和框架，称为联邦迁移学习（FTL），它可以在数据联邦下提高统计模型的性能。该联邦允许共享知识而不会危及用户隐私，并可在网络中传输补充知识，从而使目标域方能够利用源域方的丰富标签构建更加灵活和强大的模型。同时，为了在联邦下保护 FTL 的性能，还提出了一种安全的跨验证方法。该框架需要对现有模型结构进行最小的修改，并提供与非隐私保护方法同样水平的准确性。该框架非常灵活，可有效适应各种安全多方机器学习任务。
Dec, 2018
本文提出了一种新的多模态融合联邦学习方法 (FedMFS)，通过利用 Shapley 值来量化每个模态的贡献和模态模型的大小来衡量通信开销，从而实现在性能与通信成本之间的灵活平衡，该方法在现实多模态数据集上的实验证明了其有效性，相比基线方法，减少了 1/20 的通信开销，同时达到可比的准确性。
Oct, 2023
在视觉语言领域中，通过利用转换器架构对现有方法进行系统评估，并引入一种名为 FedCola 的新框架，填补了关于不配对的单模客户端和 FL 中转换器架构的研究空白。通过在各种 FL 设置下进行广泛实验，FedCola 展示了优于先前方法的性能，为未来多模态转换器的联邦训练提供了新的观点。
Apr, 2024
本文提出了一个面向端到端联合机器学习和数据集成的体系结构愿景，为数据管理信息系统和机器学习交叉研究带来重要启示，以解决不同站点之间存在的数据集成和数据格式一致性问题。
May, 2023
联邦学习（FL）是一种新颖的分布式机器学习范式，通过消除数据共享要求，使参与者能够协同训练中央模型并保护隐私。联邦学习涉及多个参与者，并要求第三方汇总全局信息以指导目标参与者的更新。为解决此问题，联邦迁移学习（FTL）吸引了众多研究者的关注。本综述聚焦于对当前联邦迁移学习进展的分类和综述，并概述相关解决方案和应用。
Mar, 2024
本研究旨在提供在现实环境下使用半监督学习来评估联邦学习的参考标准，其重点在于联邦自监督学习的研究，以利用移动设备上存在的大量异构未标记数据。通过使用多个现实异构人类活动识别数据集，本研究表明标准轻量级自编码器和标准联邦平均无法学习人类活动识别的稳健表示，这些发现证明了需要加强联邦自监督学习的研究。
Jul, 2022
引入 FedMultimodal，它是第一个 FL 基准，用于多模态学习，覆盖了来自十个常用数据集的五个代表性多模态应用程序，总共有八种独特方式。与现有的 FL 基准不同，FedMultimodal 提供了一种标准化方法来评估 FL 对实际多模态应用程序中的三种常见数据污染的鲁棒性：缺失模态，缺失标签和错误标签。
Jun, 2023