最优模型平均化：走向个性化协作学习

ICMLOct, 2021

最优模型平均化：走向个性化协作学习

Optimal Model Averaging: Towards Personalized Collaborative Learning

Felix Grimberg, Mary-Anne Hartley, Sai P. Karimireddy, Martin Jaggi

TL;DR本文研究了加权模型平均对任意标量均值估计问题的影响，发现加权平均模型可以减少局部模型的期望平方误差，并量化了加权模型平均的（可能为负的）益处。这项研究正式确定了一种量化协作学习个性化价值的方法，并为未来多元参数估计和基于一系列假设的检验研究提供了框架。

Abstract

In federated learning, differences in the data or objectives between the participating nodes motivate approaches to train a personalized machine learning model for each node. One such approach is weighted averaging between a locally trained model and the global model. In this theoretic

federated learning weighted model averaging personalization collaborative learning machine learning

发现论文，激发创造

WeiAvg: 促进数据多样性的联邦学习模型聚合

本文提出了一种新颖方法 - WeiAvg，利用投影估计方法来估计客户端数据的多样性，从高多样性客户端强调权重更新，减少低多样性客户端的影响，实验结果证明 WeiAvg 优于原始的 FedAvg 算法和 FedProx，能更快、更准确的达到收敛。

May, 2023

联邦学习聚合：具有保证的新的鲁棒算法

该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

May, 2022

个性化联邦学习与一阶模型优化

本文提出了一种个性化的联邦学习方法，通过每个客户只与相关客户联合训练模型，实现客户自定义目标分布的最优加权模型组合，且不需要知道任何数据分布或客户相似性的先验知识，该方法在多个联邦学习场景和数据集下表现优异，同时也支持个性化的迁移学习。

Dec, 2020

理解异质数据联邦学习中的模型平均

通过对几何属性的可视化和预测误差的分解，本文研究了模型平均在联邦学习中成功的原因，并提出采用迭代移动平均法来减少预测误差并限制最大距离的提高精度和训练速度。

May, 2023

基于梯度蒙版的联邦学习平均化

本文提出了一种基于梯度遮蔽平均的联邦学习方法，该方法通过学习恒定的不变机制来忽略异构性数据中不同的机制，避免因为主导客户端的偏见导致的信息损失和泛化性能不佳，实验证明该方法在非独立同分布数据集上提供了一致的改进。

Jan, 2022

分布式统计学习的引导模型聚合

本文提出两种方差降低方法对分布式、隐私保护学习中使用的基于自助法的方法进行改善，包括权重 M - 估计器等。进行了理论和实证分析以证明我们的方法。

Jul, 2016

通过后验平均实现联邦学习：一个新的视角和实用算法

以后验推断方法为基础的联邦学习算法可以通过在客户端推断本地数据的后验分布来推断全局后验分布，而 FedPA 则提供了一种计算和通信高效的近似后验推断算法，使用 MCMC 进行客户端的近似推断。

Oct, 2020

通过自适应模型平均实现拜占庭鲁棒的联邦机器学习

本文介绍了一种名为自适应联邦平均的新型算法，该算法利用隐藏马尔可夫模型来检测参与者在训练期间提供的模型更新质量，并提出一种鲁棒聚合规则以检测和丢弃每次训练迭代中的不良或恶意本地模型更新以及阻止不需要的参与者，从而在处理噪声、故障和恶意参与者时具有更高的鲁棒性和计算效率。

Sep, 2019

多数据中心协作深度学习

本文讨论了如何在分布式环境下利用模型平均策略进行深度学习的训练，提出了采用循环学习率和增加本地模型训练轮数两种策略的方法，并在实验中证明了该方法在多个数据中心下具有竞争性的性能。

Oct, 2018

层间线性模态连通性

本文探讨联邦学习中的全局模型构建方法，并且指出传统平均参数在非凸性学习面上无法保证性能，提出联邦学习难以成功的原因与特定层和层组合的「壁垒」有关。

Jul, 2023