FedHB:分层贝叶斯联邦学习
本文提出了一种使用 Laplace 近似方法的联邦学习框架,其中使用多元高斯乘积机制构建并最大化全局概率分布,区分客户端之间的巨大差异,在客户端使用全局后验概率参数,通过学习约束减少了本地选择性遗忘,并在多个基准测试中实现了最先进的结果。
Feb, 2021
通过分析六种不同的聚合策略,我们使用独立同分布(IID)和非独立同分布(non-IID)的 CIFAR-10 数据集以及完全变种 ResNet-20 结构来构建贝叶斯深度学习(DL)模型的联邦学习(FL)系统的关键超参数,从而影响准确性、校准性、不确定性量化、训练稳定性和客户端计算要求。
Mar, 2024
本文介绍了一个名为 pFedBreD 的基于贝叶斯学习方法的个性化联合学习框架,该框架针对异构数据问题进行建模,并应用 Bregman 散度约束来解决该问题。实验结果表明,在高斯先验和均值选择的一阶策略的前提下,pFedBreD 显著优于其他个性化联合学习算法。
Nov, 2022
本文提出的基于分层贝叶斯模型和变分推断的个人化联邦学习算法,引入全局模型作为潜在变量,以捕捉不同客户端之间的公共趋势,使用变分期望最大化技术训练模型并得出包含客户端参数不确定性和本地模型偏差的置信度评估,进而对客户端参数进行加权,优化全局模型的正则化效果,在多个数据集上进行了大量实证研究并证明了其优越性。
May, 2023
基于已发布的堆叠联邦学习(FedStack)框架,本研究提出了一种新颖的聚类联邦堆叠(Clustered FedStack)框架,通过采用三种聚类机制,并结合贝叶斯信息准则(BIC)和循环学习率方法,能有效克服联邦学习中的数据分布不同和标签不平衡的问题,优于基准模型的性能。
Sep, 2023
提出了一种新的贝叶斯联邦学习算法 ——$eta$-Predictive Bayes,它能够在数据异质性增加的情况下提升全局模型的校准性能。该算法通过对预测后验概率的混合和乘积进行插值,利用可调参数 $eta$ 来优化全局模型的校准性,并将结果融合到单个模型中。
Dec, 2023
本文提出了第一个针对不同客户的异构和相关可用性的 FedAvg 类 FL 算法的收敛分析,发现相关性如何不利地影响算法的收敛速率,并且介绍了一种新的算法 CA-Fed,在最大化收敛速度和最小化模型偏差之间寻求平衡,同时忽略了可用性低和相关性大的客户。实验结果表明,CA-Fed 在合成数据集和实际数据集上比 AdaFed 和 F3AST 等现有算法具有更高的时间平均准确性和更低的标准差。
Jan, 2023
本文是一项关于贝叶斯联邦学习(BFL)的问题与应用的调查研究,旨在解决分布式基础设施、通信、计算和隐私保护等问题,讨论客户端、服务端和基于 FL 的 BFL 方法,并提出了 BFL 研究的未来发展方向。
Apr, 2023
本文提出了一个基于双层区块链架构的安全联合学习交通预测系统,使用分布式同态加密联合平均方案解决了安全计算问题,并通过实验证明了系统在在线交通流量预测任务中的性能和准确性。
Oct, 2023
本文针对分层联邦学习问题,引入神经网络量化,提出了一种更加严格的收敛界限,优化客户端和边缘云多级聚合策略,同时借助仿真结果验证了策略的有效性。
Mar, 2021