Feb, 2018

具有快速收敛和高效通信的联邦元学习

PDF
TL;DR本文提出了一个联邦元学习框架 FedMeta，其中共享参数化算法而非全局模型以解决分布式移动设备网络中训练机器学习模型的统计和系统挑战，并在数据集上进行广泛实证研究，结果显示 FedMeta 相比于联邦平均 FedAvg 能够在 2.82-4.33 倍的通信成本和更快的收敛速度上取得 3.23%-14.84% 的准确性提升，并对用户隐私进行保护。
发现论文，激发创造
  • 个性化联邦学习：一种元学习方法

    本文研究了联邦学习的个性化变种，在 Model-Agnostic Meta-Learning 框架下，通过个性化 Federated Averaging 算法，根据不同用户数据的分布差异，探讨其性能的影响。

    Feb, 2020

  • 弹性约束元学习器用于联合学习

    本论文提出了一种弹性约束方法，通过使用历史本地调整模型来限制内循环的方向，以改善联邦学习中元学习的不稳定性以及对于客户端的个性化更新，它通过适应本地数据分布，共同训练出效果更好的模型，此方法在三个公共数据集上取得了最佳效果。

    Jun, 2023

  • 边缘实时智能：基于联邦元学习的协作学习框架

    提出了一种基于联邦元学习的平台辅助协作学习框架，用于解决物联网边缘节点受限计算资源和数据局限性的问题，并实现了针对边缘目标节点的快速任务适应。此外，还提出了基于分布式鲁棒优化的鲁棒性联邦元学习算法，并在数据集上展示了其有效性。

    Jan, 2020

  • 高效的针对 TinyML 的联邦元学习算法 TinyMetaFed

    TinyMetaFed 是一个模型不可知的元学习框架，“联邦元学习” 可以减少标记数据的缺乏和现实世界中分布不均的问题，并在计算效率、通信和隐私方面具有优势，可以用于解决小型设备上的 TinyML 模型。

    Jul, 2023

  • 个性化联邦学习中的上下文调节和元学习

    提出了一种将联邦学习与元学习技术相结合的新框架，通过学习数据批次的上下文信息并使用该知识生成调制参数来动态调整基础模型的激活，从而实现了联邦学习的效率和泛化能力的提高。实验结果表明，与现有的联邦学习方法相比，这种方法在收敛速度和模型性能方面都有所提高，突出了将上下文信息和元学习技术融入联邦学习的潜力，为分布式机器学习范式的进步铺平了道路。

    Dec, 2023

  • 非无线和无线网络上的联邦和元学习：教程

    本文综述了联邦学习、元学习和联邦元学习在非无线与无线网络中的设计、优化和应用，并分析了这些学习算法之间的关系以及它们在实际应用中的优缺点。

    Oct, 2022

  • MetaFed：基于循环知识蒸馏的跨联邦个性化医疗联邦学习

    本文提出了一种名为 MetaFed 的新型框架，通过循环知识蒸馏为每个联邦获得个性化模型，以促进不同联邦间值得信赖的联邦学习，该方法提高了精度并降低了通信成本。

    Jun, 2022

  • 通过模型不可知元学习提高联邦学习个性化能力

    本文探讨了通过元学习算法为联邦学习实现个性化的可能性。结果表明，联邦平均算法可以被解释为一种元学习算法，并且通过细致的微调，可以得到更准确、更易于个性化的全局模型。

    Sep, 2019

  • 具有无偏梯度聚合和可控元更新的联邦学习

    该研究旨在解决联邦学习过程中的梯度偏差和目标分布方面的问题，通过提出一个无偏梯度聚合算法和控制的元更新过程，实现更快的收敛速度和更高的准确度，具有广泛的适用性和实验验证重要性。

    Oct, 2019

  • 联邦学习聚合：具有保证的新的鲁棒算法

    该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

    May, 2022