FedFormer: 强化学习中的上下文联邦学习和注意力机制

May, 2022

FedFormer: 强化学习中的上下文联邦学习和注意力机制

FedFormer: Contextual Federation with Attention in Reinforcement Learning

Liam Hebert, Lukasz Golab, Pascal Poupart, Robin Cohen

TL;DR该论文提出了一种名为 FedFormer 的新型联邦学习策略，使用 Transformer Attention 对不同学习者代理的模型进行上下文聚合嵌入，从而实现有效且高效的联邦学习，该方法在 Meta-World 环境中验证了其在联邦学习中的有效性并证明了在隐私约束下使用 FedFormer 可以实现更高的情节回报，同时还可以在特定任务中通过增加代理池来提高方法的效果表现，与之相比 FedAvg 无法在规模扩大时取得明显的改善。

Abstract

A core issue in multi-agent federated reinforcement learning is defining how to aggregate insights from multiple agents. This is commonly done by taking the average of each participating agent's model weights into one common model (FedAvg). We instead propose →

multi-agent federated reinforcement learning fedformer transformer attention meta-world environment privacy constraints

发现论文，激发创造

联邦学习聚合：具有保证的新的鲁棒算法

该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

May, 2022

FedClassAvg: 异构神经网络的个性化联邦学习中局部表示学习

本研究提出一种名为联邦分类器平均（FedClassAvg）的个性化联邦学习方法，通过聚合分类器权重以增强特征空间的决策边界来使得有不同神经网络架构、实现非独立同分布数据（non-iid）学习任务的客户端可以学习稀缺标签，同时应用本地特征表示学习来稳定决策边界并利用局部特征提取能力提升客户端的表现，相较于已有方法仅要求客户端通信少量全连接层，因此高度通信效率，而且不需要额外的优化问题和计算开销，且在异构性个性化联邦学习任务方面表现优于现有最先进算法。

Oct, 2022

本地更新促进表示学习的 FedAvg 与微调

通过对 FedAvg 在多任务线性表示设置下的形式化研究，我们发现 FedAvg 之所以能够产生良好的泛化效果，是因为能够通过本地更新利用客户数据分布之间的差异性来学习客户任务的公共数据表示，我们还提供了实证证据，证明了 FedAvg 在具有异构数据的联合图像分类中的表示学习能力。

May, 2022

在大规模联邦学习中利用函数空间聚合

该研究提出了一种名为 FedFish 的聚合算法，通过在函数空间中计算 Fisher 信息的估计，将客户端学习到的函数本地逼近进行聚合，并在大规模跨设备基准测试中验证了其性能优于 FedAvg，尤其在本地训练迭代次数增加时。

Nov, 2023

Fed2：特征对齐联邦学习

本文提出了基于特征对齐 Fed2 的联邦学习框架，通过显式的特征分配和特征配对均值方案，解决了联邦学习过程中参数随机性造成的结构特征不匹配的问题，提高了模型的收敛性能。

Nov, 2021

AgentFormer: 面向多智能体时空预测的智能体感知 Transformer

论文提出了一个新的 Transformer 模型 AgentFormer，该模型可以联合模拟时间和社交两个维度，用于预测多智能体行为，同时考虑了多智能体的影响以及不确定性。该模型具有良好的性能，并在公共数据集上取得了 state-of-the-art 的结果。

Mar, 2021

FedMR: 基於模型重組的聯邦學習

本文提出一种名为 FedMR 的新颖、高效的联邦学习模式，通过重新组合每个客户端的收集本地模型的每一层来获得新的模型进行本地训练，从而实现更好的推理性能和客户端隐私保护。实验结果表明，与现有的联邦平均（FedAvg）方法相比，FedMR 在更快的时间内显著提高了推理准确性。

May, 2023

FewFedWeight：针对多个 NLP 任务的 Few-shot 联邦学习框架

FewFedWeight 是跨多个任务的 few-shot 联邦学习框架，通过在隔离设备上训练客户端模型，广播全局模型并为客户端生成伪数据，同时使用能量算法对伪样本进行加权，动态聚合客户端模型的自适应模型权重更新全局模型，可显著提高客户端模型的性能。

Dec, 2022

WeiAvg: 促进数据多样性的联邦学习模型聚合

本文提出了一种新颖方法 - WeiAvg，利用投影估计方法来估计客户端数据的多样性，从高多样性客户端强调权重更新，减少低多样性客户端的影响，实验结果证明 WeiAvg 优于原始的 FedAvg 算法和 FedProx，能更快、更准确的达到收敛。

May, 2023

弹性约束元学习器用于联合学习

本论文提出了一种弹性约束方法，通过使用历史本地调整模型来限制内循环的方向，以改善联邦学习中元学习的不稳定性以及对于客户端的个性化更新，它通过适应本地数据分布，共同训练出效果更好的模型，此方法在三个公共数据集上取得了最佳效果。

Jun, 2023