May, 2023

表现力联邦学习：应对模型依赖和异构分布漂移的解决方案

PDF
TL;DR本文提出了一种基于分布漂移映射的执行预测的联邦学习框架，关键是提出了唯一可行的执行稳定解的必要和充分条件，并在全和部分参与方案下证明了实现 FedAvg 算法的 O (1/T) 速率下收敛到执行稳定解。
federated learningdistribution shiftperformative predictionperformative stable solutionconvergence
发现论文，激发创造
  • 通过稳定性理解联邦学习的泛化：异质性很重要

    本文针对联邦学习中算法稳定性的概念，研究了 FedAvg、SCAFFOLD 和 FedProx 在凸性和非凸性损失函数下的通用性能，并探讨了客户端数据的异质性和算法收敛行为对模型通用性能的影响。

    Jun, 2023

  • 加速半异步联邦学习

    传统的联邦学习方法由于数据上传同步方式导致速度慢且不可靠，本论文提出了一种考虑不同更新贡献、适应数据延迟与异质性的异步联邦学习方法，有效提升了收敛速度。

    Feb, 2024

  • 基于梯度蒙版的联邦学习平均化

    本文提出了一种基于梯度遮蔽平均的联邦学习方法，该方法通过学习恒定的不变机制来忽略异构性数据中不同的机制，避免因为主导客户端的偏见导致的信息损失和泛化性能不佳，实验证明该方法在非独立同分布数据集上提供了一致的改进。

    Jan, 2022

  • 原型有助于联邦学习：朝着更快的收敛方向

    该论文提出了一种基于原型的联邦学习框架，通过在典型的联邦学习进程的最后全局迭代中进行少量更改就能够实现更好的推理性能，从而在两个基准数据集上实现了更高的准确性和相对高效的通信。

    Mar, 2023

  • 异步联邦学习中实现线性加速

    我们提出了一种高效的异步联邦学习（AFL）框架，称为延迟联邦平均（DeFedAvg），通过在自己的速度上使用不同陈旧的全局模型，DeFedAvg 可以达到与 FedAvg 相当的渐近收敛速率，同时也是第一个具有可证明的良好线性加速特性的 AFL 算法，从而表明其高可扩展性。

    Feb, 2024

  • FL Games：一种用于分布偏移的联邦学习框架

    本文提出了 FL Games，这是一个博弈理论框架，旨在通过学习跨领域不变关系来改善联邦学习中的预测模型泛化，FL Games 在多个基准测试中展现了高超的领域外表现。

    May, 2022

  • 异步多服务器联邦学习用于地理分布式客户端

    提出了一种全新的异步架构的多服务器联邦学习系统，解决了同步通信导致的服务器空闲时间和单服务器成为瓶颈的问题，与之前的基线方法相比，收敛速度更快且在地理分布环境中所需时间减少了 61%。

    Jun, 2024

  • 联邦学习的进展：模型、方法和隐私

    本文详细阐述了联邦学习的体系结构、应用问题、算法设计原则和安全问题，提出了一种更加通用的算法设计框架、攻击场景和防御方法，致力于将联邦学习与真实世界应用相集成并实现高性能、隐私保护和安全性。

    Feb, 2023

  • 解决联邦学习中的算法差异和性能不一致

    本文提出了一种基于多目标优化的联邦学习框架，通过优化一个最大替代函数将不同本地客户端（数据源）的算法公平性和一致性纳入考虑，以实现最优解的 Pareto 优化来实现公平性和一致性。

    Aug, 2021

  • 使用对比学习方法的预训练模型联邦学习

    本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

    Sep, 2022