Jun, 2021

联邦学习中的最优性与稳定性：博弈论方法

PDF
TL;DR这篇文章研究联邦学习的优化问题，采用博弈论的思想将联邦学习看作互动的 hedonic game，提出了一种基于平均误差率的最优性概念，并给出了一种计算最优解的高效算法。文章还分析了稳定性与最优性的关系，并证明了稳定解与最优解差距的上限为 9。
发现论文，激发创造
  • 模型共享游戏：自愿参与下联邦学习的分析

    本文介绍了在联邦学习中，面临着全局模型与本地模型的选择困境，运用博弈论的框架进行自然分析，提出了基于博弈论的联邦学习模型，探讨了均衡的选手分区问题，并分别分析了三种联邦模式的稳定分区。

    Oct, 2020

  • 一人一人，或者所有人一起合作：联邦学习中的均衡与最优性

    本研究提出了一种基于博弈论的框架来实现联邦学习中的合作，并考虑了代理的激励因素。通过稳定和无嫉妒均衡的概念，我们能够描述在代理有自己的学习目标和较低的样本负担时所能达到的合作状态。此外，通过比较没有考虑代理激励因素时的最优合作和考虑激励因素时的合作，我们证明了利用激励考虑的方法可以更有效地降低样本复杂度。

    Mar, 2021

  • 联邦优化指南

    本论文旨在提供针对联邦优化算法的具体指导和实用实现，重点关注进行有效模拟以推断实际效果，并鼓励研究人员设计适用于各种实际应用的联邦学习算法。

    Jul, 2021

  • 异构环境下的健壮联邦学习

    在 Federated Learning 中，我们提出了一个统计模型来解决异构数据分布和拜占庭机器等统计和计算挑战。在此基础上，我们提出了一个优化算法来解决该问题，并获得了比非拜占庭鲁棒算法更好的估计误差。

    Jun, 2019

  • 基于 Stackelberg 博弈的联邦学习工人激励

    本文研究了分布式学习方法（如联邦学习）的一个难点，即异构工作者的性能问题，提出了一个激励机制，使用 Stackelberg game 方法得到了平衡解，并指出了机器学习模型拥有者如何在有限的预算下最好地决定工作人数的问题。该实验结果表明，机器学习模型的拥有者需要权衡工作人数提供的多样性和完成训练的延迟之间的权衡。

    Aug, 2019

  • 联邦学习中的协作均衡

    本文研究一种理性协作称作‘协作均衡’的范式，使用‘利益图’描述每个客户端与其他客户端合作的益处，并提出 Pareto 优化方法来识别最佳合作者，通过迭代图操作从利益图中达成协作均衡。在合成和真实数据集上进行的实验表明了我们的方法的有效性。

    Aug, 2021

  • 联邦学习的博弈理论框架

    提出一种基于博弈论的安全模型，考虑了联邦学习中的隐私泄漏问题和防御者与攻击者的策略问题，通过引入一个神谕作为协调者，优化参与者的收益和隐私泄漏风险。

    Apr, 2023

  • 多目标进化联邦学习

    此论文使用多目标进化算法优化神经网络模型的结构，以同时减少通信成本和全局模型测试误差，提高联邦学习的学习性能和效率。

    Dec, 2018

  • 质量感知联邦学习中的稳定性价格

    通过建模客户间的交互为一个标签去噪游戏，本研究表明均衡结果总是导致全局模型准确性降低于社会最优解，并进一步设计了一个高效的算法来计算社会最优解。

    Oct, 2023

  • 异构网络中的联邦优化

    本研究介绍了 FedProx 框架，用于解决联合学习网络中异构性的问题，并提供了实现更稳健收敛的收敛保证和效果验证。

    Dec, 2018