联邦学习中的在线元学习用于模型更新聚合在点击率预测中的应用

Aug, 2022

联邦学习中的在线元学习用于模型更新聚合在点击率预测中的应用

Online Meta-Learning for Model Update Aggregation in Federated Learning for Click-Through Rate Prediction

Xianghang Liu, Bartłomiej Twardowski, Tri Kurniawan Wijaya

TL;DR该篇论文中提出了一种基于元学习的 Federated Learning 方法，针对一些问题如客户端异构性、难以调优的问题等，通过对客户端属性进行动态加权，进而调整更新步长的策略，相较于目前最先进的算法，在收敛速度和最终学习结果上均显著优于现有的算法。

Abstract

In federated learning (FL) of click-through rate (CTR) prediction, users' data is not shared for privacy protection. The learning is performed by training locally on client devices and communicating only model ch

federated learning click-through rate prediction privacy protection meta-learning client heterogeneity

发现论文，激发创造

具有无偏梯度聚合和可控元更新的联邦学习

该研究旨在解决联邦学习过程中的梯度偏差和目标分布方面的问题，通过提出一个无偏梯度聚合算法和控制的元更新过程，实现更快的收敛速度和更高的准确度，具有广泛的适用性和实验验证重要性。

Oct, 2019

持续本地训练以改进联邦模型的初始化

本文提出了基于本地持续训练策略的联邦学习算法，通过评估一小部分代理数据集上的重要性权重并将其用于约束本地训练，从而减少了权重分歧并不断将不同本地客户端的知识整合到全局模型中，显著提高了联邦模型的初始性能。

May, 2020

Meta-FL: 面向异构模型聚合的新型元学习框架在联邦学习中的优化

元联邦学习通过优化的元汇聚器导航异构模型更新的复杂性，利用元特征增强了全局模型的性能，从而保证了对每个本地模型准确性的个性化汇聚。在四个与医疗相关的数据集上进行的实证评估显示，Meta-FL 框架具有适应性、效率、可扩展性和鲁棒性，优于传统的联邦学习方法。此外，Meta-FL 在较少的通信轮次中实现了优越的准确性，并且能够在不影响性能的情况下管理不断扩大的联邦网络，显示出卓越的效率和可扩展性。

Jun, 2024

加速半异步联邦学习

传统的联邦学习方法由于数据上传同步方式导致速度慢且不可靠，本论文提出了一种考虑不同更新贡献、适应数据延迟与异质性的异步联邦学习方法，有效提升了收敛速度。

Feb, 2024

联邦学习聚合：具有保证的新的鲁棒算法

该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

May, 2022

联邦学习能找到有益的朋友

该研究提出了一种新的算法，为参与联邦学习训练的客户分配自适应聚合权重，识别出最有利于特定学习目标的数据分布，实验证明通过该算法引导的合作在传统的联邦学习方法上取得了更好的表现，强调了客户选择的重要性。

Feb, 2024

通过模型不可知元学习提高联邦学习个性化能力

本文探讨了通过元学习算法为联邦学习实现个性化的可能性。结果表明，联邦平均算法可以被解释为一种元学习算法，并且通过细致的微调，可以得到更准确、更易于个性化的全局模型。

Sep, 2019

FedMR: 基於模型重組的聯邦學習

本文提出一种名为 FedMR 的新颖、高效的联邦学习模式，通过重新组合每个客户端的收集本地模型的每一层来获得新的模型进行本地训练，从而实现更好的推理性能和客户端隐私保护。实验结果表明，与现有的联邦平均（FedAvg）方法相比，FedMR 在更快的时间内显著提高了推理准确性。

May, 2023

FedL2P：个性化联邦学习

该论文研究了联邦学习（FL）的个性化策略问题，并介绍了一种通过元网络（meta-nets）在 FL 网络中学习个性化策略的框架，该框架通过学习元网络的批量归一化和学习率参数来为每个客户端生成定制的个性化策略。实证结果表明，该框架在标签偏移和特征偏移情况下优于多种标准的手工个性化基线方法。

Oct, 2023

联邦学习中的本地适应性：收敛和一致性

本文探讨在联邦学习中使用自适应优化方法对于本地更新的影响，指出自适应优化方法虽然可以加速模型收敛，但可能导致解决方案出现偏差，为此提出了纠正技术以克服这种不一致性，并在现实联合训练任务上进行了广泛实验，结果表明与没有局部自适应性的基线相比，所提出的算法可以实现更快的收敛和更高的测试准确性。

Jun, 2021