本文提出了一种基于随机梯度估计器的多次本地更新和部分设备参与的无导数联邦零阶优化算法（FedZO），并介绍了一种适用于无线网络的空气计算辅助 FedZO 算法。在非凸设置下，研究了 FedZO 算法的收敛性能，并表征了本地迭代次数和参与边缘设备数量对收敛性的影响。

Jan, 2022

本研究使用增量 Hessian 估计器在协同训练集中设计第一个估计全局目标曲率的零阶联邦学习算法，以达到超线性收敛，通过在 Stiefel 流形中对随机搜索方向进行采样以提高性能。我们通过使用同步的伪随机数生成器以一种通信高效和隐私保护的方式，在中央服务器上构建梯度和 Hessian 估计器。我们对我们的算法进行了理论分析，命名为 FedZeN，证明了具有高概率的局部二次收敛和全局线性收敛的零阶精度。数值模拟验证了超线性收敛速率，并表明我们的算法优于文献中可用的零阶联邦学习方法。

Sep, 2023

利用通信高效的框架，我们提出了一种新颖的、基于零阶方法的联邦学习（ZOFL）框架，通过利用无线通信信道的特性，在学习算法本身中包含无线信道，而无需分析并消除其影响。

Jan, 2024

本文提出了一种基于联邦学习模式下的多智能体最优化问题解决方案，运用受限的通信方式，实现了对多个目标的追踪，避免了碰撞发生，并在两个相关应用上进行了数量级和碰撞性能的分析。

Jun, 2023

提出了一种新的异步联邦优化算法，用于在海量边缘设备上进行培训，具有近线性收敛全局最优点的证明，可用于强凸和一类非凸问题，实验证明在各种应用中算法收敛快且容忍陈旧。

Mar, 2019

提出了一种新颖的联邦学习框架（FedPTR），通过采用轨迹正则化来解决分布式学习中数据异质性问题，利用模型训练轨迹中的全局信息进行本地训练规范化，经过理论分析和实验证明其快速收敛并在异质数据分布下具有良好效果。

Dec, 2023

我们研究了面对自适应对手时的分布式在线和掷骰机凸优化问题。我们旨在在 $M$ 个并行工作的机器上通过 $T$ 轮和 $R$ 次间歇通信来最小化平均遗憾。在假设底层成本函数是凸函数并且可以自适应生成的情况下，我们的研究结果表明，在机器能够访问所查询点的一阶梯度信息时，合作是没有益处的。这与对于随机函数的情况形成了对比，其中每台机器从固定分布中抽样成本函数。此外，我们深入研究了带有掷骰机（零阶）反馈的联邦在线优化更具挑战性的情况，在该情况下，机器只能访问所查询点的成本函数值。这里的关键发现是确定合作有益且甚至可能导致机器数量的线性加速的高维度情况。我们通过开发新的分布式单点和双点反馈算法，进一步说明了我们的研究结果在联邦对抗线性掷骰机中的应用。我们的工作是对限制反馈的联邦在线优化的系统理解的首次尝试，并在间歇通信情况下获得了一阶和零阶反馈的严格遗憾界。因此，我们的研究填补了联邦在线优化中随机和自适应环境之间的差距。

Nov, 2023

本研究提出了联邦学习的自适应优化方法，包括 Adagrad，Adam 和 Yogi，并分析了它们在异构数据下的收敛性。研究结果突出了客户端异构性和通信效率之间的相互作用，并表明自适应优化器的使用可以显着提高联邦学习的性能。

Feb, 2020

本文章介绍了一个可扩展的二阶方法 Fed-Sophia，通过结合梯度的加权移动平均和剪切操作来寻找下降方向，并使用海森矩阵对角线的轻量级估计来融入曲率信息。数值评估表明，与一阶和二阶基准相比，所提出的 Fed-Sophia 算法在优越性、鲁棒性和可扩展性方面表现出色。

Jun, 2024

使用神经逼近的替代函数来解决具有未定义或零梯度问题的图形优化，适用于渲染、程序建模和物理驱动动画中的非凸、非可微黑盒问题。

Aug, 2023