Jun, 2024

联合模型异构母娃表示学习

PDF
TL;DRFederated model heterogeneous Matryoshka Representation Learning (FedMRL) enables knowledge exchange and improves model learning capability in heterogeneous federated learning through representation fusion.
heterogeneous federated learningknowledge exchangematryoshka representation learningrepresentation fusionmodel learning capability
发现论文，激发创造
  • 混合分布下的联邦多任务学习

    该研究提出了一种基于混合模型假设的联邦多任务学习方法，该方法可以在设备上学习个性化模型并实现客户端和服务端两种架构下的联邦 EM 算法的收敛，同时在联邦学习基准测试中获得了更高的准确性和公平性。

    Aug, 2021

  • FedMoE：模型异构个性化联邦学习中基于数据的个性化

    通过引入混合专家方法，我们提出了一种新颖的模型异构个性化联邦学习算法（FedMoE），用于解决当前模型异构个性化联邦学习方法中的数据和模型隐私、模型性能、通信和计算成本等问题。该算法通过在本地训练过程中结合全局和本地特征来提高模型的个性化能力，并通过信息聚合实现跨客户端的模型参数融合。

    Feb, 2024

  • 联邦互助学习

    本文提出了一种新的联邦学习范例，名为联邦互助学习（FML），以处理三种不同类型的异质性，允许客户在共同设计通用模型的同时独立设计个性化并为不同场景和任务的个性化定制模型。

    Jun, 2020

  • 异构客户端联邦多任务学习

    借助 FedHCA$^2$ 框架，该研究解决了异构客户机联邦多任务学习中的模型不一致性问题，并通过建模异构客户机之间的关系来允许个性化模型的联邦训练。实验证明 FedHCA$^2$ 在各种异构客户机联邦多任务学习场景中相比其他方法具有更优越的性能。

    Nov, 2023

  • FedLoRA：具有 LoRA 调整的异构模型个性化联邦学习

    基于 LoRA 调优的计算和通信高效的模型异构个性化联邦学习框架（FedLoRA）为每个联邦学习客户端设计了一个同质化小适配器，从而使得客户端可以在不产生高计算和通信成本的情况下训练异构化的本地模型。FedLoRA 在两个真实数据集上的实验表明，它在测试准确性方面比六种最先进的基准方法表现更好，准确性提高了 1.35%，计算开销减少了 11.81 倍，通信成本降低了 7.41 倍。

    Oct, 2023

  • 多层原型的动态异构联邦学习

    提出了一种名为 Federated Multi-Level Prototypes (FedMLP) 的新型联邦学习框架，以应对异构数据分布和动态任务的联邦学习需求，并引入原型和语义原型来缓解概念漂移问题。

    Dec, 2023

  • 医学影像中数据和模型异质性的联邦学习

    本文提出了一种名为 MDH-FL 的方法，利用数据和模型的异质性，通过知识蒸馏和对称损失来提高联邦学习中全局模型的效率，实验证明该方法在医学数据集上比现有方法表现出更好的优越性。

    Jul, 2023

  • FedH2L：具有模型和统计异质性的联邦学习

    该论文提出了 FedH2L 方法，通过相互蒸馏和分散学习的方式来实现联邦学习中不同参与者拥有不同网络结构和数据分布的情况下训练一个强而全面的全局模型。

    Jan, 2021

  • FedMR: 基於模型重組的聯邦學習

    本文提出一种名为 FedMR 的新颖、高效的联邦学习模式，通过重新组合每个客户端的收集本地模型的每一层来获得新的模型进行本地训练，从而实现更好的推理性能和客户端隐私保护。实验结果表明，与现有的联邦平均（FedAvg）方法相比，FedMR 在更快的时间内显著提高了推理准确性。

    May, 2023

  • DFML：分散式联邦互联学习

    我们提出了一种无服务器的去中心化联邦互联模型学习（DFML）框架，通过相互学习和循环改变监督和蒸馏信号的量，有效处理模型和数据异构性，并在各种条件下，在收敛速度和全局准确性上优于流行基准。

    Feb, 2024