利用闭式分类器加速异构联邦学习

ICMLJun, 2024

利用闭式分类器加速异构联邦学习

Accelerating Heterogeneous Federated Learning with Closed-form Classifiers

Eros Fanì, Raffaello Camoriano, Barbara Caputo, Marco Ciccone

TL;DR通过引入联邦递归岭回归 (Fed3R) 方法，为了解决非独立同分布数据分布造成的统计异质性问题，本研究提出了一种采用闭式计算得出的岭回归分类器的联邦学习策略。该方法对统计异质性的数据分布具有免疫力，并且对客户端的采样顺序是不变的，因此在跨设备场景中十分有效。此外，它在通信和计算成本方面快速高效，所需资源比同类竞争方法少两个数量级。最后，我们建议将 Fed3R 参数作为 softmax 分类器的初始值，并通过任何联邦学习算法进行模型微调（Fed3R + Fine-Tuning）。研究结果还表明，在跨设备场景中维持一个固定的分类器有助于稳定训练和学习更具辨别力的特征。

Abstract

federated learning (FL) methods often struggle in highly statistically heterogeneous settings. Indeed, non-IID data distributions cause client drift and biased local solutions, particularly pronounced in the final classification layer, negatively impacting convergence speed and accurac

federated learning federated recursive ridge regression statistical heterogeneity cross-device scenarios fine-tuning

发现论文，激发创造

通过联邦特征重训练进行异构和长尾数据的联邦学习

本文提出了一种新型的隐私保护联邦学习方法，通过分类器重新训练实现异构和长尾数据的隐私保护联邦特征，可在不泄露本地数据或类分布信息的情况下产生与真实数据上重新训练后的分类器相当的性能。实验结果表明，该方法是一种有效的解决方案，可在异构和长尾数据下获得有希望的联合学习模型。

Apr, 2022

本地训练中减轻遗忘的联邦学习加速

本文提出了 FedReg 算法来解决分布式学习中的灾难性遗忘问题，通过在本地训练阶段使用生成的伪数据作为正则化器，以保护用户隐私并提高算法的收敛速度。

Mar, 2022

FedDr+: 使用全局特征蒸馏稳定点回归的联邦学习

FedDr + 是一种新的算法，通过使用点回归损失进行本地模型对齐，冻结分类器以实现特征对齐，并采用特征蒸馏机制保留有关未见 / 缺失类别的信息，从而有效地整合个体客户端的知识，提高全局和个性化联邦学习的性能。

Jun, 2024

FedFair^3: 在联邦学习中实现三重公平

该研究论文提出了一种在联邦学习中实现三重公平性的公平客户选择方法，通过公平的客户选择策略、公平的参与轮数和客户间的公平准确度分布，与现有技术基准相比，在 IID 数据上减少了 18.15% 的准确率差异，在非 IID 数据上减少了 54.78% 的准确率差异，并且平均训练时间减少了 24.36%。

Jan, 2024

基于 Transformer 的联合学习用于多标签遥感影像分类

通过研究最先进的转换器架构（即 MLP-Mixer、ConvMixer、PoolFormer）在非独立和非同分布的训练数据上实现联合学习，针对遥感中的多标签分类问题，在不同非独立和非同分布程度下，比较了这些转换器架构在训练数据异质性、局部训练复杂性和聚合复杂性方面的性能，实验结果表明这些架构在增加泛化能力的同时增加了局部训练和聚合复杂性，为选择适用于遥感多标签分类领域的转换器架构提供了指导。

May, 2024

本地学习很重要：重新思考联邦学习中的数据异构性

本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。

Nov, 2021

中间表示正则化的联邦学习

本文介绍一项名为 FedIntR 的策略，通过将中间层的表示集成到本地训练过程中，提供了更细粒度的规则化方式，以防止联邦学习中的局部训练偏移，并确定每个层对正则化项的贡献，并在各种数据集上进行了深入的实验，证明 FedIntR 可以达到与最先进方法相当或更高的性能。

Oct, 2022

面向医学图像分类的不均衡和聚合数据分布联邦学习

采用新的真实数据分布，提出一种名为 FedIIC 的隐私保护框架，该框架通过类内对比学习和共享全局样本的类间对比学习进行特征提取器的校准来缓解训练造成的偏差，并使用考虑难度的逻辑调整构造 softmax 交叉熵损失以确保所有类别的平衡决策边界。在公共可用数据集上的实验表明，FedIIC 在处理两种耦合问题的同时，具有更优越的性能。

Jun, 2022

FedCiR：面向联邦非 IID 特征的客户端不变表示学习

提出了一种名为 FedCiR 的客户端不变表示学习框架，通过改进表示和标签之间的互信息项，以及减少客户集和表示之间在标签条件下的互信息项，实现提取信息性和客户端不变的特征，通过两个正则化项来限制近似全局表示分布的互信息项以弥补缺失的真实全局表示分布，进而实现了解决数据异质性和实现客户端不变表示学习的目标。

Aug, 2023

异构客户的循环早期退出联邦学习

联合学习模型中，为了解决客户端硬件要求的不同挑战，本文提出了一种名为 ReeFL 的循环早期退出方法，通过融合不同子模型的特征到一个共享分类器中，利用基于 Transformer 的早期退出模块更好地利用多层次特征表示进行任务预测，并调节主干模型的特征表示用于后续预测，同时，通过每个客户端的自我蒸馏方法，在每个客户端自动选择最佳子模型作为其他子模型的教师模型。在标准图像和语音分类基准测试中，与之前的工作相比，实验证明了 ReeFL 的有效性。

May, 2024