Oct, 2023

用网络控制变量驯服联邦学习中的梯度方差

PDF
TL;DR通过引入一种新的网络控制变量 (FedNCV) 框架，该研究提出了一种分散式学习方法用于解决分散式学习中遇到的挑战，诸如梯度变化、收敛速度缓慢和不稳定的改善。该框架利用控制变量单元 REINFORCE Leave-One-Out (RLOO) 在客户端和服务器级别上进行实现，解决了数据分布不均匀所带来的挑战，并展示了其在大规模应用方面的潜力。
federated learningnetworked control variatesgradient variancedecentralized approachdata heterogeneity
发现论文，激发创造
  • SCAFFOLD：面向联邦学习的随机控制平均算法

    通过引入控制变量技术，我们提出了一种新的算法（SCAFFOLD），减轻了 FedAvg 在异构数据（non-iid）上的不稳定性和慢收敛问题，从而使其需要的通信轮次大大减少，在分布式优化中新的成果是我们证明了 SCAFFOLD 可以利用客户端数据的相似性加速收敛。

    Oct, 2019

  • 通过偏差方差分解实现对抗鲁棒性：联邦学习的新视角

    该研究提出了一个名为 Fed_BVA 的对抗鲁棒联邦学习框架，改进了服务器和客户端更新机制，通过最大化服务器更新期间的偏差和方差生成对抗性示例，并在客户端更新期间学习这些示例的对抗性鲁棒模型更新。实验证明，该框架对 IID 和非 IID 情况下的白盒和黑盒对抗性破坏具有鲁棒性。

    Sep, 2020

  • 使用大量控制变量的集成进行变分推断

    本文介绍了使用控制变量的方法来减少渐变方差的影响，提出了一种贝叶斯风险最小化框架来定量评估这一方法的效果，并表明使用大量控制变量结合的方法显著提高了推理的收敛性。

    Oct, 2018

  • 完全分散化神经网络系统中的消失方差问题

    去中心化的学习方法 federated learning 和 gossip learning 之间的关键区别在于模型聚合方式；我们的研究引入了一种修正方差的模型平均算法，使 gossip learning 能够达到与 federated learning 相当的收敛效率。

    Apr, 2024

  • 神经控制变量用于方差降低

    本文提出了一种基于神经网络学习的控制变量方法，该方法在数值计算中应用广泛，可显著减少蒙特卡罗估计的方差，其中包括热力学积分和强化学习。

    Jun, 2018

  • 基于变分贝叶斯推断的个性化联邦学习

    本文提出了一种名为 pFedBayes 的新型个性化联合学习方法，采用贝叶斯变分推理，通过引入权重不确定性来减轻模型过拟合的问题，在满足客户端全局分布的 KL 散度的同时，通过平衡私有数据的构造误差来更新其本地分布参数，理论分析说明了平均泛化误差的上界和收敛速度，实验结果表明，该方法在个性化模型方面表现出色，相较于其他先进的个性化方法，例如在非 i.i.d. 有限的数据下，pFedBayes 在 MNIST、FMNIST 和 CIFAR-10 上分别比其他 SOTA 算法的结果更好，分别提高了 1.25%、0.42% 和 11.71%。

    Jun, 2022

  • 联邦变分推断：实现更好的个性化和泛化

    本文提出了基于贝叶斯推断的层次生成模型和 FedVI 算法，该算法通过变分推断训练模型并结合 PAC-Bayes 分析提供了更好的泛化性能。作者还在 FEMNIST 和 CIFAR-100 数据集上进行了实验验证，结果显示 FedVI 在图像分类任务上的表现超过了现有算法。

    May, 2023

  • 异构网络中的联邦优化

    本研究介绍了 FedProx 框架，用于解决联合学习网络中异构性的问题，并提供了实现更稳健收敛的收敛保证和效果验证。

    Dec, 2018

  • 变分联合多任务学习

    VIRTUAL 算法在联邦多任务学习中被引入以处理具有强统计异质性的真实世界联邦数据集，该算法能够在联邦数据集中发挥作用，同时允许更少的梯度更新。

    Jun, 2019

  • 减小自适应无偏客户抽样的方差以探索联邦优化

    提出了一种自适应客户端采样的新方法 K-Vib，可以在不需要额外的本地通信和计算的情况下，构建可靠的全局估计，从而提高联邦优化的性能。

    Oct, 2023