- 分布式内存系统上的可扩展图卷积网络训练
我们提出了一种高度并行的算法,用于效放缩大处理器计数的图卷积网络的训练。我们利用图的顶点划分,在处理器之间使用非阻塞点对点通信操作以获得更好的可伸缩性。我们基于超图划分模型提出一种稀疏矩阵划分方案,展示了所提出算法在真实世界的图数据集上比替 - 通信高效的联邦深度神经网络架构及量化协同搜索,用于个性化硬件感知偏好的常见问题解答
提出了 FAQS,这是一个高效的个性化 FL-NAS 量化框架,具有权重共享超级内核,比特共享量化和掩码传输等特征,可帮助减少通信成本并生成适合于各种用户偏好的异构硬件感知模型。实验结果表明,FAQS 比常规 FL 框架每轮通信带宽平均降低 - 基于 Elastic Net 的通信高效和漂移稳健的联邦学习
提出了一种名为 FedElasticNet 的通信高效且健壮的联邦学习框架,利用弹性网正则化器解决通信成本和客户漂移问题。此框架可与先前的联邦学习技术相结合,有效地同时解决通信和漂移问题。
- AAAI联邦式最佳臂识别中几乎零成本的通信
本研究基于联邦学习多臂赌博机模型,在中心服务器和多个客户端之间定义了本地和全局最佳臂的概念,并提出了一种名为 FedElim 的新算法,以最小化总成本,其中总成本是所有客户处进行的臂数的总数和通信成本的总和,同时满足误差概率的上限约束。
- 基于非独立同分布数据的 ASR 解耦联邦学习
使用个性化联邦学习来解决非独立同分布数据集上的自动语音识别问题,该方法通过在本地保留一些层来学习个性化模型,并提出一种解离联邦学习,将计算负担移动到服务器端并通信安全高级特征而非模型参数,实验表明这两种方法可以与 FedAvg 相比降低 W - HideNseek: 基于服务器端剪枝和签署 Supermask 的联合训练彩票网络
我们提出了 HideNseek 算法,通过基于神经元的权值修剪来解决联邦学习中各处统计异质性和客户端资源限制的问题,实验表明 HideNseek 算法在推理精度、通信成本和训练时间方面均优于现有技术。
- 异质文本分类的联邦分裂 BERT
本研究提出了一种名为 FedSplitBERT 的框架,该框架可以处理异构数据并通过将 BERT 编码器层分为本地部分和全局部分来降低通信成本。 该文使用量化方法,进一步减少了通信成本,同时在不降低性能的情况下,使用 FedSplitBER - 差分隐私联邦学习中安全聚合的基本价格
本文提出了一种基于稀疏随机投影的线性方案,用于训练具有分布式差分隐私的 $d$ 维模型,以保证训练轮次中服务器只看到 $n$ 个模型更新的带噪声和,并评估了这种方案的通信成本。在真实的隐私设置中,该方法可以在不降低测试性能的情况下显著减少通 - 同质化马尔可夫博弈的高效通信演员 - 评论方法
该论文研究了协作多智能体强化学习中的集中式训练和策略共享,提出了一种基于一致性的去中心化演员 - 评论家方法,以减少通信成本并保证收敛,从而有效地降低了训练时的通信成本。
- 使用稀疏模型扰动的联邦学习:在客户端级别的差分隐私下提高准确性
本篇论文提出了一种名为 Fed-SMP 的新型差分隐私联邦学习方案,该方案采用 Sparsified Model Perturbation (SMP) 技术,在保持高模型准确性的同时,提供客户端级差分隐私保证,并使用 Renyi DP 提供 - FedGCN: 图卷积网络联邦训练中的收敛与通信权衡
介绍了一种使用联合学习的 FedGCN 算法用于训练分布式的图模型,它可以在大型图上进行半监督节点分类,具有快速收敛和较小的通信成本,相比先前的方法,FedGCN 只需要在一个预训练步骤中将客户端与中央服务器进行通信,显著降低通信成本。
- 使用速率失真理论在联邦学习中优化通信 - 准确性权衡
研究了联邦学习中模型更新的统计学特性及各种压缩技术的作用和优劣,提出了基于失真作为可靠的模型精度代理的降低通信成本的新方法,并在 Stack Overflow 下一个真实具有挑战性的 FL 基准测试中实现了接近最优的通信成本降低,在多个数据 - 异步上置信区间算法用于联邦线性赌臂机
本文旨在探索线性上下文强化学习在联邦学习环境下的应用,提出了一种基于异步模型更新和通信的通用框架,并对分布式学习下的遗憾和通信成本进行了理论分析,并进行了广泛的实证评估,证明了该解决方案的有效性。
- AAAI面向通信高效和隐私保护的联邦表示学习
本文探讨了在通信成本和隐私保护的限制下联邦表示学习的可行性。首先证明了自监督对比本地训练的鲁棒性,然后基于此提出了一种新的 Federated representation Learning 框架,使用相似度蒸馏对全局模型进行训练。我们通过 - 面向异构客户的个性化联邦学习与聚类知识迁移
本研究提出了一种适用于高度数据和系统异构的个性化联邦学习框架 PerFed-CKT,可使用不同的模型架构,通过簇内共同训练和知识传输来降低通信成本并在测试中获得高精度。
- 使用超网络进行个性化联邦学习
本文提出了一种基于超网络的个性化联邦学习方法 pFedHN,该方法可以协同训练多个客户端的个性化模型,在考虑数据分布差异和减少通信成本的同时实现有效的参数共享,并在多个个性化联邦学习挑战中得到了很好的表现。
- ICMLKD3A: 通过知识蒸馏进行无监督多源去中心化域自适应
KD3A 是一种隐私保护的多源领域自适应算法,它通过对来自不同源域的模型进行知识蒸馏来实现域适应,并采用多源知识投票、共识聚焦和 BatchNorm MMD 等方法解决了常规 UMDA 方法中存在的负迁移、安全通信和数据质量等问题,同时相对 - 联邦学习数据价值的原则方法
本文提出了一种适用于联邦学习的 Shapley 值变体,称为联邦 Shapley 值,它可以计算每个数据源的贡献,能够反映数据源的实际效用并有潜力提高系统的鲁棒性,安全性和效率。
- 压缩联邦学习:统一分析和精确保证
通过定期压缩通信的算法,分析其收敛性并探讨其与局部计算的关系,提出了一种本地梯度追踪方案,以缓解数据异质性,实现了更快的收敛速度和更好的算法效果。
- 分布式和联邦学习通讯压缩的不确定性原理及最优压缩器的寻找
探讨通信成本优化的异构和联邦学习中用于向量压缩的不确定性原理和 Kashin 压缩方案。