Mar, 2024

量化分层联邦学习：统计异质性的鲁棒方法

PDF
TL;DR本文提出了一种新颖的分层联邦学习算法，其在多个集合中结合了量化进行通信效率，并且展示了对统计异质性的鲁棒性。与传统的分层联邦学习算法不同，我们的方法将集合内迭代中的梯度聚合与集合间迭代中的模型聚合相结合。我们提供了一个全面的分析框架来评估其最优性差距和收敛速度，并将这些方面与传统算法进行比较。此外，我们还提出了一个问题形式化解决方案以推导出最优的系统参数。我们的研究结果表明，我们的算法在一系列参数下始终能够实现高学习准确率，并且在具有异构数据分布的场景中明显优于其他分层算法。
发现论文，激发创造
  • 基于量化的分层联邦学习：收敛分析与系统设计

    本文针对分层联邦学习问题，引入神经网络量化，提出了一种更加严格的收敛界限，优化客户端和边缘云多级聚合策略，同时借助仿真结果验证了策略的有效性。

    Mar, 2021

  • 异构环境下的健壮联邦学习

    在 Federated Learning 中，我们提出了一个统计模型来解决异构数据分布和拜占庭机器等统计和计算挑战。在此基础上，我们提出了一个优化算法来解决该问题，并获得了比非拜占庭鲁棒算法更好的估计误差。

    Jun, 2019

  • 具备干扰和数据异质性认知的分层无线联邦学习

    这项研究提出了一种用于解决分层联邦学习在无线网络中可扩展性和干扰、设备数据异质性的挑战的学习方法，并通过优化的接收器归一化因子来减小干扰的影响。通过使用随机几何建模多簇无线网络并将聚合估计的均方误差作为网络参数的函数进行表征，论文证明了在干扰和数据异质性的情况下，所提出的方案实现了较高的学习准确性，并且可以显著优于传统的分层算法。

    Jan, 2024

  • FedShift: 通过权重偏移聚合解决联邦学习的双重异质问题

    FedShift 是一种新颖的算法，旨在在双重异质性情况下提高训练速度和模型的准确性，通过量化和移位技术改善客户参与度，并提升在异质性环境中的准确性 3.9%。

    Feb, 2024

  • 异构网络中的联邦优化

    本研究介绍了 FedProx 框架，用于解决联合学习网络中异构性的问题，并提供了实现更稳健收敛的收敛保证和效果验证。

    Dec, 2018

  • 随机量化，差分隐私在联邦学习中十分必要

    本研究提出了一种通过量化和差分隐私相结合的联合学习算法 —— Randomized Quantization Mechanism（RQM）, 该算法通过两层随机化达到了 Renyi 差分隐私保护，同时在 DP 联合学习的隐私 - 准确性平衡方面取得了较好的表现，是首次仅通过随机量化而不使用显式离散噪声实现 Renyi DP 保证的研究。

    Jun, 2023

  • 鲁棒的网络联邦学习用于定位

    本文提出了一种在分布式子梯度框架中采用 L1 范数鲁棒性公式的方法来解决分布式环境中的定位问题，并通过数值模拟验证了该方法在异常值较多的环境中的优越性能。

    Aug, 2023

  • 联邦分层张量网络：面向医疗领域的协作学习量子人工智能框架

    提出了基于量子张量网络的联邦学习框架，通过多体量子物理原理充分利用，进行了不平衡数据分布下的差分隐私分析，实验结果显示，联邦量子张量网络模型在医疗图像数据集上达到了 0.91-0.98 的平均接收者操作特征曲线下面积（ROC-AUC），在医疗院所之间的不平衡数据分布下，量子联邦全局模型表现出更好的泛化性能和鲁棒性，实现了更高的测试准确率，超过了本地训练客户端的表现。

    May, 2024

  • 异构恢复性联邦学习的架构蓝图

    本文提出了一种新颖的三层体系结构，用于优化边缘计算环境下的联邦学习。所提出的体系结构解决了客户数据异质性和计算约束所带来的挑战。它引入了一个可扩展的、隐私保护的框架，提高了分布式机器学习的效率。通过实验，本文证明了该体系结构比传统的联邦学习模型更有效地处理非独立同分布的数据集。此外，本文还强调了这种创新方法提高模型准确性、减少通信开销和促进联邦学习技术更广泛应用的潜力。

    Mar, 2024

  • Fed-QSSL: 基于位宽和数据异构性的个性化联邦学习框架

    通过使用分布式自监督学习以及低位量化，Fed-QSSL 是一个旨在解决联邦学习系统中异质性的方案，并通过解量化、加权聚合和重新量化在客户端设备上创建个性化的模型，验证了该算法的有效性，并对低位训练对学习模型的收敛性和健壮性进行了理论分析。

    Dec, 2023