Feb, 2024

FedImpro:度量与提升联邦学习中的客户端更新

HTML
PDF
TL;DR通过生成改进的本地模型来减轻分布不同的客户机之间的客户漂移，并增强模型的泛化性能。
发现论文，激发创造
  • 探索联邦学习中个体客户的影响

    本文提出了一种新的概念——Fed-Influence，用于量化移动端设备对联合训练全局模型的影响力，并提出了一种有效的算法来估算这个指标，同时能够保证数据隐私不被泄露，并且适用于凸性和非凸性损失函数，在模型调试方面具有良好应用效果。

    Dec, 2020

  • 本地学习很重要：重新思考联邦学习中的数据异构性

    本文提出了一种叫做FedAlign的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的FL方法相当的精度。

    Nov, 2021

  • FedFOR: 无状态异构联邦学习与一阶正则化

    本文提出了一种基于分布式学习的新型算法，能够针对数据异质性问题，有效避免因数据分布不同而导致的本地数据更新差异性，提高模型的全局收敛性和学习效率。与现有算法不同，该算法不需要维护全局状态，适用于任意数量的客户端，能够用于网络边缘设备和移动应用等更典型的应用场景。

    Sep, 2022

  • 透過階段式鬆動初始化了解聯邦學習中的一致性運作

    本文介绍了一种能够解决来自客户端之间不一致性问题的联邦学习算法，即使在不同数据集情况下，也能够提高其本地一致性水平和性能表现水平。

    Jun, 2023

  • FedCME: 处理联邦学习中的数据异质性的客户端匹配和分类器交换

    研究团队提出了一种名为FedCME的基于客户端匹配和分类器交换的新型联邦学习框架，在本地训练阶段，具有大量数据分布差异的客户将成对匹配，并在一个中间时刻交换分类器。

    Jul, 2023

  • FedBug: 一种自下而上逐步解冻的联邦学习框架

    FedBug是一种新颖的联邦学习框架，通过逐层解冻模型来解决客户端漂移问题，提升交叉客户端对齐效果，拥有更快的收敛速度。

    Jul, 2023

  • 面向实例自适应的联邦学习推理

    该论文提出了一种新颖的FL算法（FedIns）来处理FL框架中的内部客户数据异质性，并通过在FL框架中实现实例自适应推理来减少内部客户和跨客户之间的异质性，实验证明FedIns在Tiny-ImageNet上比现有FL算法表现更好（多于6.64%的性能提升，且通信成本不到15%），代码和模型将在公开发布。

    Aug, 2023

  • 重新思考联邦学习中的客户漂移：逻辑回归视角

    通过引入类原型相似度蒸馏算法(FedCSD)解决联邦学习中的客户端漂移和灾难性遗忘问题，实验证明它在各种异构环境下优于现有的联邦学习方法。

    Aug, 2023

  • 利用自由客户在联邦学习中进行模型增强

    FedALIGN是一种选择参与联邦学习的非优先客户的匹配策略，基于他们的模型损失与全局数据的相似程度，以确保只有在对优先客户有益时才使用非优先客户的梯度，从而实现非优先客户的加入动机和优先客户的资源利用，且在各种合成和基准数据集上展示出更快的收敛速度和更高的测试准确性。

    Oct, 2023

  • FedStale：在联邦学习中利用陈旧的客户端更新

    FedStale是一种新颖的算法，通过在每一轮中使用参与客户端的新鲜更新和未参与客户端的陈旧更新的一个凸组合来更新全局模型，以此在处理数据和参与度异质性方面超越了之前的方法。

    May, 2024