带自适应调参客户端的联邦学习

Jun, 2023

Adaptive Federated Learning with Auto-Tuned Clients

Junhyung Lyle Kim, Mohammad Taha Toghani, César A. Uribe, Anastasios Kyrillidis

TL;DR提出了一种名为 Delta-SGD 的算法用于优化联邦学习模型中的超参数，该算法能够在各个客户端之间自适应优化不同的参数，实验结果表明，该算法可以在不需要额外调整的情况下，在 73% 的实验中达到 TOP-1 准确度，在 100% 的实验中达到 TOP-2 准确度。

Abstract

federated learning (FL) is a distributed machine learning framework where the global model of a central server is trained via multiple collaborative steps by participating clients without sharing their data. Whil

federated learning distributed machine learning hyperparameter tuning delta-sgd client adaptivity

发现论文，激发创造

联邦学习中的本地适应性：收敛和一致性

本文探讨在联邦学习中使用自适应优化方法对于本地更新的影响，指出自适应优化方法虽然可以加速模型收敛，但可能导致解决方案出现偏差，为此提出了纠正技术以克服这种不一致性，并在现实联合训练任务上进行了广泛实验，结果表明与没有局部自适应性的基线相比，所提出的算法可以实现更快的收敛和更高的测试准确性。

Jun, 2021

自我感知个性化联邦学习

本论文提出了一种自我感知的个性化联邦学习方法，通过采用贝叶斯分层模型，利用不确定性量化来平衡本地模型改进和全局模型调整，使用不确定性驱动的本地训练步骤和聚合规则来实现。通过实验研究，该方法显著提高了个性化性能。

Apr, 2022

自适应自蒸馏下的异构数据联邦学习

提出了一种新的自适应自蒸馏（ASD）正则化技术，针对联邦学习（FL）中不同客户端观察到的本地数据分布的异质性问题，在客户端上进行训练模型并适应性地调整以接近全局模型，此技术可用于现有的状态 - of-the-art FL 算法中，显著提高算法的性能。

May, 2023

联邦学习能找到有益的朋友

该研究提出了一种新的算法，为参与联邦学习训练的客户分配自适应聚合权重，识别出最有利于特定学习目标的数据分布，实验证明通过该算法引导的合作在传统的联邦学习方法上取得了更好的表现，强调了客户选择的重要性。

Feb, 2024

原型有助于联邦学习：朝着更快的收敛方向

该论文提出了一种基于原型的联邦学习框架，通过在典型的联邦学习进程的最后全局迭代中进行少量更改就能够实现更好的推理性能，从而在两个基准数据集上实现了更高的准确性和相对高效的通信。

Mar, 2023

基于动态注意力的通信高效联邦学习

本文提出了一种自适应训练算法 AdaFL，该算法通过注意力机制和动态分数方法来平衡性能稳定性和通信效率，实验结果表明相对于 FedAvg 算法，AdaFL 算法在模型精度、性能稳定性和通信效率三个方面都有很大的提高。

Aug, 2021

LEFL：联邦学习中的低熵客户样本选择

联邦学习是一种机器学习范式，其中多个客户端通过利用私有数据来优化单一全局模型。本研究提出了一种基于高级特征进行一次聚类的客户端抽样策略，以在每一轮中实现分层的客户端抽样，以减少噪音并显著提高全局模型的收敛率，并显著减少了达到目标准确性所需的通信轮次。

Dec, 2023

主动联邦学习

该研究提出了一种便捷、简单的采样方案，用于减少联邦学习迭代次数并最大程度提高效率，主要研究领域包括联邦学习、人口模型、梯度和采样方案。

Sep, 2019

DynamicFL：平衡通信动态和客户端操作的联邦学习

Federated Learning aims to train a global model by utilizing decentralized data, but the highly dynamic networks of edge devices can cause delays and degrade the efficiency of the training process. To address this, DynamicFL is proposed as a novel framework that considers communication dynamics, data quality, and client selection strategies to improve system performance and achieve better model accuracy.

Jul, 2023

经济有效的联邦学习设计

本文介绍了自适应联邦学习方法，可根据选择的本地设备和每轮训练中的本地迭代次数，最小化学习时间和能耗成本，并分析了总成本与控制变量之间的关系及其上限。作者开发了一种基于低成本采样的算法来学习收敛相关的未知参数，并通过模拟和实验验证了解决方案，证明其在不同数据集、机器学习模型和异构系统设置方案中都能实现接近最优的性能。

Dec, 2020