Apr, 2024

Apodotiko: 在异构环境中实现高效的无服务器联邦学习

PDF
TL;DRApodotiko 是一种为无服务器联邦学习设计的新型异步训练策略，通过评估每个客户端的硬件能力和数据集大小，智能地优先选择客户端，并最小化系统性能受到策略影响的慢速客户端，实验结果表明，Apodotiko 优于其他 FL 训练策略，平均加速比达到 2.75 倍，最大加速比达到 7.03 倍，同时有效减少冷启动。
发现论文，激发创造
  • 异步多服务器联邦学习用于地理分布式客户端

    提出了一种全新的异步架构的多服务器联邦学习系统，解决了同步通信导致的服务器空闲时间和单服务器成为瓶颈的问题，与之前的基线方法相比，收敛速度更快且在地理分布环境中所需时间减少了 61%。

    Jun, 2024

  • 使用知识蒸馏在无服务器联邦学习中训练异构客户端模型

    利用优化的无服务器工作流程，在 FaaS 环境下实现基于知识蒸馏的异构客户端模型的联邦学习（FL）系统，实验证明无服务器 FedDF 比无服务器 FedMD 更快、成本更低且对极端非独立同分布数据分布更加鲁棒。

    Feb, 2024

  • 异构设备上的异步联邦学习：综述

    该研究基于一项新的分类机制，综合分析和总结了现有各种异步 FL 范式，包括异构设备上的设备异构性、数据异构性、隐私和安全性，以及异构设备上的应用。该研究揭示了该领域面临的挑战并提出了潜在的研究方向。

    Sep, 2021

  • 木瓜：实用、隐私和可扩展的联邦学习

    本文介绍了一种适用于千万级用户设备的异步跨设备联邦学习 (asynchronous Cross-device Federated Learning) 系统，该系统可用于分布式学习，解决了大规模训练中同步传输的效率问题，异步方式比同步方式在高并发环境下训练速度快 5 倍，通信开销少 8 倍。

    Nov, 2021

  • 自适应异构联邦学习用于资源受限的 AIoT 系统

    适应性模型修剪策略的自适应联邦学习方法针对人工智能物联网设备中的异构性因素进行合作学习，通过强化学习的设备选择机制，将异构模型动态地分发给相应的设备进行本地训练，从而实现推断性能的提升。

    Nov, 2023

  • LIFL：一款轻量级、事件驱动的联邦学习无服务器平台

    LIFL 是一种轻量级和弹性的无服务器云平台，通过精细的资源管理实现规模化的 FL 聚合，它通过流线型事件驱动的无服务器设计，以及使用轻量级的 eBPF 代理替代容器化的边车来提高效率，并利用共享内存处理实现高性能通信，进一步引入了 LIFL 中的位局感知布局以最大化共享内存处理的效益，LIFL 通过精确地规模化和资源复用来实现最高程度的并行性，同时将聚合时间和资源消耗最小化。

    May, 2024

  • 关于分散式联邦学习的调查

    去中心化联邦学习解决方案的综述，包括现有的方法和未来的研究方向。

    Aug, 2023

  • HeteroFL：用于异构客户端的计算与通信高效联邦学习

    本文提出名为 HeteroFL 的新型联邦学习框架，旨在解决具有非常不同计算和通信能力的异构客户端的问题，并通过几种策略增强 FL 训练。通过在三个数据集上进行五个计算复杂性级别的三种模型架构的广泛实证评估，通过自适应分配子网络来提高 FL 训练的计算和通信效率。

    Oct, 2020

  • 物联网联邦学习的高效自适应联邦优化

    该论文提出了一种新的联邦学习算法（EAFO），通过联合考虑本地更新和参数压缩两个变量并使 FL 能够自适应调整这两个变量来提高其效率，以最小化学习误差，并实现计算，通信和精度之间的权衡，实验结果证明，与现有算法相比，EAFO 算法能够更快地实现更高的准确性。

    Jun, 2022

  • 利用联邦学习和边缘计算在云计算网络中进行推荐系统

    通过将人工智能（AI）与边缘计算相结合，边缘智能利用终端设备和边缘服务器的计算和通信能力，在数据产生的地方进行处理，从而实现人工智能的大规模和高效部署。其中一项关键技术是隐私保护的机器学习范式 Federated Learning（FL），该范式使数据所有者能够在无需将原始数据传输到第三方服务器的情况下训练模型。然而，FL 网络预计涉及成千上万个异构分布式设备，因此通信效率仍然是一个关键瓶颈。为了减少节点故障和设备退出，提出了一种分层联邦学习（HFL）框架，其中指定的集群领导者通过中间模型聚合支持数据所有者。因此，基于改进的边缘服务器资源利用，本文可以有效弥补缓存容量的限制。为了减轻软点击对用户体验质量（QoE）的影响，作者将用户 QoE 建模为综合系统成本。为解决这个公式化问题，作者提出了一种具有联邦深度强化学习（DRL）和联邦学习（FL）的分散式缓存算法，其中多个代理独立学习并做出决策。

    Mar, 2024