使用引导神经切向核将联邦学习凸化

Jul, 2022

使用引导神经切向核将联邦学习凸化

TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent Kernels

Yaodong Yu, Alexander Wei, Sai Praneeth Karimireddy, Yi Ma, Michael I. Jordan

TL;DR提出了一种称为 Train-Convexify-Train (TCT) 的过程，以解决非凸问题中联邦优化方法失败的问题，并进一步通过 CIFAR10 和 FMNIST 数据集实现了约 37% 和 36% 的准确度改进。

Abstract

State-of-the-art federated learning methods can perform far worse than their centralized counterparts when clients have dissimilar data distributions. For neural networks, even when centralized SGD easily finds a

federated learning neural networks optimization challenges train-convexify-train procedure accuracy improvements

发现论文，激发创造

神经切向核强化联邦学习

该论文提出了一种基于神经切向核的新型联邦学习范式，通过传输比传统联邦学习范式更具表现力的样本级 Jacobian 矩阵，解决了统计异质性的挑战，并进一步开发了一种改进的变体，其在保持相同准确性的情况下，将通信轮数减少了一个数量级。

Oct, 2021

FL-NTK: 一种基于神经切向核的联邦学习收敛性分析框架

本文提出一种新的收敛分析方法 - Federated Learning Neural Tangent Kernel (FL-NTK)，旨在研究在 Federated Learning 框架下，使用逐渐逼近的方法对参数化的 ReLU 神经网络进行梯度下降训练时的收敛性分析，并证明该方法可以在线性时间内收敛到全局最优解，并可通过适当的分布假设获得良好的泛化能力。

May, 2021

深度线性神经网络联邦平均的神经切线核视角

使用 NTK 理论进一步提供对联邦平均（FedAvg）在训练深度线性神经网络方面全局收敛的第一个理论保证，通过实验评估验证了理论发现的正确性。

Oct, 2023

非凸紧凑平滑次流形上的异构数据联邦学习

本文提出了一种基于随机黎曼梯度和流形投影算子的非凸联邦学习算法，用于在异构客户端数据的紧致平滑子流形上提高计算效率，并通过同时利用流形结构和损失函数特性的新型分析，理论上证明了该算法亚线性收敛到一阶最优解附近，数值实验表明我们的算法具有比现有方法更小的计算和通信开销。

Jun, 2024

异步联邦优化

提出了一种新的异步联邦优化算法，用于在海量边缘设备上进行培训，具有近线性收敛全局最优点的证明，可用于强凸和一类非凸问题，实验证明在各种应用中算法收敛快且容忍陈旧。

Mar, 2019

高效沟通的自适应联邦学习

本文介绍了一种新的通信高效的自适应联邦学习方法 FedCAMS，该方法具有理论收敛保证并在各种基准测试上进行了广泛实验验证。

May, 2022

联邦在线与强盗凸优化

我们研究了面对自适应对手时的分布式在线和掷骰机凸优化问题。我们旨在在 $M$ 个并行工作的机器上通过 $T$ 轮和 $R$ 次间歇通信来最小化平均遗憾。在假设底层成本函数是凸函数并且可以自适应生成的情况下，我们的研究结果表明，在机器能够访问所查询点的一阶梯度信息时，合作是没有益处的。这与对于随机函数的情况形成了对比，其中每台机器从固定分布中抽样成本函数。此外，我们深入研究了带有掷骰机（零阶）反馈的联邦在线优化更具挑战性的情况，在该情况下，机器只能访问所查询点的成本函数值。这里的关键发现是确定合作有益且甚至可能导致机器数量的线性加速的高维度情况。我们通过开发新的分布式单点和双点反馈算法，进一步说明了我们的研究结果在联邦对抗线性掷骰机中的应用。我们的工作是对限制反馈的联邦在线优化的系统理解的首次尝试，并在间歇通信情况下获得了一阶和零阶反馈的严格遗憾界。因此，我们的研究填补了联邦在线优化中随机和自适应环境之间的差距。

Nov, 2023

鲁棒的网络联邦学习用于定位

本文提出了一种在分布式子梯度框架中采用 L1 范数鲁棒性公式的方法来解决分布式环境中的定位问题，并通过数值模拟验证了该方法在异常值较多的环境中的优越性能。

Aug, 2023

自适应联邦优化

本研究提出了联邦学习的自适应优化方法，包括 Adagrad，Adam 和 Yogi，并分析了它们在异构数据下的收敛性。研究结果突出了客户端异构性和通信效率之间的相互作用，并表明自适应优化器的使用可以显着提高联邦学习的性能。

Feb, 2020

边缘设备上的大型 CNN 联邦学习：团队知识传输

本文提出了一种基于群知识转移算法的联合学习方法 FedGKT，旨在克服边缘设备资源受限问题，实现小型卷积神经网络的训练。该方法可在保证模型准确率的同时，降低对计算资源和通信带宽的需求，提高算法效率。在 ResNet-56 和 ResNet-110 上的实验结果表明，FedGKT 相对于 FedAvg 取得了可比甚至更高的准确率，同时减少了边缘设备的计算功耗和网络参数数量。

Jul, 2020