Mar, 2021

一人一人，或者所有人一起合作：联邦学习中的均衡与最优性

PDF
TL;DR本研究提出了一种基于博弈论的框架来实现联邦学习中的合作，并考虑了代理的激励因素。通过稳定和无嫉妒均衡的概念，我们能够描述在代理有自己的学习目标和较低的样本负担时所能达到的合作状态。此外，通过比较没有考虑代理激励因素时的最优合作和考虑激励因素时的合作，我们证明了利用激励考虑的方法可以更有效地降低样本复杂度。
发现论文，激发创造
  • 联邦学习中的最优性与稳定性：博弈论方法

    这篇文章研究联邦学习的优化问题，采用博弈论的思想将联邦学习看作互动的 hedonic game，提出了一种基于平均误差率的最优性概念，并给出了一种计算最优解的高效算法。文章还分析了稳定性与最优性的关系，并证明了稳定解与最优解差距的上限为 9。

    Jun, 2021

  • 联邦学习中的协作均衡

    本文研究一种理性协作称作‘协作均衡’的范式，使用‘利益图’描述每个客户端与其他客户端合作的益处，并提出 Pareto 优化方法来识别最佳合作者，通过迭代图操作从利益图中达成协作均衡。在合成和真实数据集上进行的实验表明了我们的方法的有效性。

    Aug, 2021

  • 面向参与者的联邦学习中的协作：博弈论视角

    本论文提出了一个新的分析框架来激励参与者中心的联邦学习，分别提出了两种贡献无关的 FL（COFL）和贡献感知 FL（CAFL）游戏模型，讨论了 Nash 平衡的独特性和存在性并设计了有效的算法来达到平衡解决方案。 大量的性能评估表明，COFL 中存在着 free-riding 现象，而采用具有优化的最小阈值的 CAFL 模型可以大大缓解此现象。

    Jul, 2022

  • 激励联邦学习

    本文介绍了一种激励机制，鼓励客户共享他们所拥有的尽可能多的数据，以提高联合学习的性能，该机制与以前的不同之处在于使用模型性能而不是数据作为激励，我们在一定的条件下理论上证明了客户将使用他们尽可能多的数据参与联合学习

    May, 2022

  • 基于 Stackelberg 博弈的联邦学习工人激励

    本文研究了分布式学习方法（如联邦学习）的一个难点，即异构工作者的性能问题，提出了一个激励机制，使用 Stackelberg game 方法得到了平衡解，并指出了机器学习模型拥有者如何在有限的预算下最好地决定工作人数的问题。该实验结果表明，机器学习模型的拥有者需要权衡工作人数提供的多样性和完成训练的延迟之间的权衡。

    Aug, 2019

  • 通过激励机制实现公平图谱联合学习

    图形联邦学习中的激励机制和公平性评估函数，以及模式原型的应用，提高模型准确性和公平性。

    Dec, 2023

  • 模型共享游戏：自愿参与下联邦学习的分析

    本文介绍了在联邦学习中，面临着全局模型与本地模型的选择困境，运用博弈论的框架进行自然分析，提出了基于博弈论的联邦学习模型，探讨了均衡的选手分区问题，并分别分析了三种联邦模式的稳定分区。

    Oct, 2020

  • 联邦学习激励机制综述

    本研究综述了联邦学习的激励机制问题，归纳了不同的机制分类，包括 Stackelberg game， auction 和 reinforcement learning，并讨论将来的研究方向。

    Jun, 2021

  • 联邦 Q 学习中异构的优点：线性加速及其它

    该论文讨论了利用分布式数据进行在线学习时，采用联邦 Q 学习算法可以在不共享数据的情况下进行合作学习，提出了一种基于重要性加权的平均算法，加速了算法的收敛速度，降低了样本复杂度。

    May, 2023

  • 协作学习中评估和激励多样化数据贡献

    本研究利用博弈论和机制设计的方法，解决联邦学习中的全局性能优化和本地性能优化之间的张力问题，并通过统计准则和联邦学习算法的选择来设计简单的最优联邦学习机制，鼓励数据收集者贡献代表全局人口的数据，最大化全局性能。

    Jun, 2023