Jun, 2024

面向资源受限环境的自适应联邦学习方法

PDF
TL;DR本研究提出了一种资源自适应异步联邦学习算法 (Fed-RAA)，通过根据计算和通信能力分配全局模型的片段给不同的参与客户端，从而解决异构资源下的联邦学习问题。该方法在理论上证实了收敛性，并设计了一种基于贪心算法的在线分配策略，与离线策略相比具有可比拟的公平性。通过对 MNIST、CIFAR-10 和 CIFAR-100 的实验结果以及对比和消融研究，证明了本研究的优势。据我们所知，该论文是首个具备理论收敛保证的资源自适应异步的基于片段的联邦学习方法。
federated learningresource allocationasynchronousfragment-basedconvergence
发现论文，激发创造
  • 资源有效的异构和资源受限环境下的联邦学习

    在本文中，我们提出了一种名为 RE-FL 的新方法，该方法解决了资源受限设备中计算和通信挑战的问题。我们的可变修剪技术通过根据每个客户端的计算能力进行修剪来优化资源利用。我们还使用知识蒸馏来减少带宽消耗和通信轮次。对图像分类任务的实验结果证明了我们的方法在资源受限环境中保持数据隐私和性能的有效性，同时适应了异构模型架构。

    Aug, 2023

  • AdapterFL: 自适应异构联邦学习用于资源受限的移动计算系统

    适应性异构联邦学习 (AdapterFL) 通过模型重组策略在资源受限的移动计算系统中实现大规模异构移动设备的协同训练，提高了综合性能并解决了资源不足的问题。

    Nov, 2023

  • 资源受限异步联邦学习系统中的降低系统偏差

    在非同步聯邦學習 (AFL) 的部署中，我們提出一種動態全球模型聚合方法，以應對異質設備和在客戶端之間非相同分佈的數據所帶來的性能挑戰。我們的聚合方法基於客戶端的上傳頻率對其模型更新的權重進行評分和調整，以適應設備能力的差異。此外，我們在客戶端上傳本地模型後立即提供更新的全球模型，以減少閒置時間並提高訓練效率。我們在由 10 個模擬客戶端組成的 AFL 部署中評估了我們的方法，這些客戶端具有異質的計算限制和非相同分佈的數據。使用 FashionMNIST 數據集的模擬結果顯示，與最先進的方法 PAPAYA 和 FedAsync 相比，全球模型的準確性分別提高了 10% 和 19%。我們的動態聚合方法即使在限制的客戶資源和統計數據異質性下也可以實現可靠的全球模型訓練，從而提高了現實世界的 FL 部署的韌性和可擴展性。

    Jan, 2024

  • 无线网络上的联邦学习：收敛分析和资源分配

    提出了一种处理异构用户设备数据的联邦学习算法，同时结合对微波资源分配问题的优化，实现了收敛速率和能耗之间的平衡，并用 Tensorflow 实验验证了该算法的理论分析和优化表现。

    Oct, 2019

  • FedRA: 异构客户端释放联邦调整的力量的随机分配策略

    使用 Foundation 模型，提出了一种新的联邦调优算法 FedRA，可在异构客户端中进行资源有限的模型微调，实验证明其性能明显优于其他方法。

    Nov, 2023

  • 基于基础模型与异构联邦学习的融合

    资源感知的联邦基础模型（RaFFM）引入了针对联邦学习场景的特殊模型压缩算法，实现对给定的基于 Transformer 的基础模型的动态缩放，以适应网络边缘的异构资源约束。实验结果表明，RaFFM 在资源利用效率上显示出显著优势，并使用较少的资源将基础模型部署到联邦学习中，虽然资源消耗较低，但经 RaFFM 优化的目标模型在自然语言处理和计算机视觉领域的各项任务中表现出与应用于全尺寸基础模型的传统联邦学习方法相当的性能。

    Sep, 2023

  • 无线网络中视频缓存的资源感知分层联邦学习

    该研究提出一个新颖的资源感知分层联邦学习（RawHFL）解决方案，旨在通过局部存储用户频繁请求的热门内容来预测用户未来的内容需求，在考虑到延迟、能量和无线资源限制的情况下，通过优化客户端选择和局部轮次以及中央处理单元（CPU）频率的方式来实现能效最大化，模拟结果表明该方案在预测准确性和总能量消耗方面明显优于其他考虑的基准方案。

    Nov, 2023

  • 层次化联邦学习在无线网络上的用户分配和资源分配

    该论文提出了一种层次化联邦学习（Hierarchical FL）框架，并引入了光谱资源优化算法（SROA）和两阶段迭代算法（TSIA），以实现在无线用户大数据集中能源消耗和延迟降低方面的领先优势。

    Sep, 2023

  • RHFedMTL: 资源感知的分层联邦多任务学习

    本文提出了一种可行的资源感知层次化联邦多任务学习 (RHFedMTL) 解决方案，通过解决基站内的不同任务并在不危及隐私的情况下在云中聚合多任务结果，以满足任务异构性，同时开发了一种面向本地终端和基站的资源感知学习策略以满足资源预算 。

    Jun, 2023

  • 无线网络异步多模型联邦学习：理论、建模和优化

    本文提出了一种应用于多个下游任务的异步模型传输的联邦学习方法，通过引入调度张量来表征设备调度，并通过收敛性分析探究了资源分配、设备调度和个体模型状态等对机器学习性能的影响，进而通过非凸混合整数优化问题来调整资源分配和设备调度，以在能量消耗和性能之间达到高效平衡，并通过数值模拟揭示了该方法在模型性能和网络资源节约方面的优势。

    May, 2023