基于信息论的拓扑感知异构联邦边缘学习在噪声信道上的泛化分析

Oct, 2023

基于信息论的拓扑感知异构联邦边缘学习在噪声信道上的泛化分析

Information-Theoretic Generalization Analysis for Topology-aware Heterogeneous Federated Edge Learning over Noisy Channels

PDF

Zheshun Wu, Zenglin Xu, Hongfang Yu, Jie Liu

TL;DR我们的工作针对数据异构性和噪声通道的情况，在拓扑感知的边缘学习中提出了一种信息论泛化分析，并提出了一种名为联合全局互信息缩减（FedGMIR）的新型正则化方法，通过数值结果验证了这种方法的有效性。

Abstract

With the rapid growth of edge intelligence, the deployment of federated learning (FL) over wireless networks has garnered increasing attention, which is called Federated Edge Learning (FEEL). In FEEL, both mobile

edge intelligence federated learning wireless networks generalization topology-aware

发现论文，激发创造

跨異質蜂巢網絡的階層式聯邦學習

研究使用梯度稀疏化和周期性平均的分层联邦学习框架，来在异构蜂窝网络中实现协作机器学习任务。结果表明，该方案可以显着降低通信延迟且不会减少模型精度。

Sep, 2019

异质联合边缘学习的快速收敛：自适应协作信令辅助数据组播方法

基于群集数据共享的联邦边缘学习 (FEEL) 是为 6G 超连接而出现的分布式机器学习范式，通过保护数据隐私，利用物联网设备的数据。为了解决 FEEL 中的统计不平衡问题，我们引入了一个集群数据共享框架，通过辅助多播来选择性地从集群头部共享部分数据给可信合作伙伴，以缓解数据异质性。所提出的框架在有限的通信环境中，能够在非独立和非齐分布的数据集上实现更快的收敛速度和更高的模型准确性。

Jun, 2024

联邦边缘学习：设计问题和挑战

本文研究了在边缘网络上进行 FEEL 的挑战和权衡，提出了一种数据感知调度的通用框架作为未来研究方向的指南，并讨论了数据评估的主要轴和要求以及一些可利用的技术和指标。

Aug, 2020

基于一比特信令的无线网络聚合通信的边缘计算联邦学习算法：设计与收敛分析

本文提出了一种数字宽带聚合方案，称为单比特数字宽带聚合（OBDA），用以解决多设备使用同一通信媒介所带来的通信瓶颈问题，并对其在无线信道干扰下的收敛速率进行综合分析。

Jan, 2020

基于流数据的能效联合边缘学习：一种 Lyapunov 优化方法

通过动态调度和资源分配算法解决异构数据和时间变化目标函数下，在长期能量限制条件下，流式数据随机生成和资源可用性的固有随机性，并通过仿真结果验证了所提出方案相对于基准方案的学习性能和能效的提高。

May, 2024

信息论分布多元化实现联邦泛化

我们的论文提出了一种信息论的泛化框架来解决联邦学习中的分布不一致问题，并通过引入加权聚合方法和客户端选择策略来增强泛化能力。

Oct, 2023

低延迟联邦边缘学习的宽带模拟聚合（扩展版）

该论文提出了一种低延迟多接入方案，利用模拟聚合和多接入通道的叠加特性，实现了快速聚合模型的更新并使边缘学习具有更好的性能表现和低延迟。

Dec, 2018

盲联邦边缘学习

本文研究边缘设备协作学习中的无线联邦学习，其中利用无线接入点作为参数服务器，使用 “over-the-air” 聚合方案实现全局模型的积极性和设备间的协作，通过使用接收波束成形方案来补偿缺乏完美信道状态信息带来的破坏效应，证明该算法在具有足够天线数量的情况下可以改善其性能。

Oct, 2020

卫星联邦边缘学习：架构设计与收敛分析

这篇论文介绍了一种名为 FEDMEGA 的针对低地球轨道卫星网络的新型 FEEL 算法，通过整合卫星间链接和全网模型聚合方案，提高了传输效率，实现了大约 30% 的收敛速度提升。

Apr, 2024

联邦学习中泛化错误和隐私泄漏的信息理论界限

这篇论文提供了针对分布式学习、联邦学习和经典机器学习的信息理论框架，同时研究了这些学习范式中的一般化误差和隐私泄露的上下界限制。

May, 2020