使用共识图预训练不同特征的模型联邦学习

Jun, 2023

使用共识图预训练不同特征的模型联邦学习

Federated Learning of Models Pre-Trained on Different Features with Consensus Graphs

Tengfei Ma, Trong Nghia Hoang, Jie Chen

TL;DR本文提出了一种通过特征融合方法来提高预测性能，解决了在分布式物联网中利用不同模型进行本地学习而合并本地模型以实现一致性的问题。通过在现实场景中的应用，如电力网和交通网络，证明了此方法的有效性。

Abstract

Learning an effective global model on private and decentralized datasets has become an increasingly important challenge of machine learning when applied in practice. Existing distributed learning paradigms, such as fede

distributed learning federated learning heterogeneous sensors feature fusion approach time series data

发现论文，激发创造

本地思考，全球行动：具备本地和全局表示的联邦学习

通过在设备上联合学习一种新的联邦学习算法，可以通过仅传递参数来训练全局模型，从而保持设备数据的私密性，这可以减少通信参数的数量并降低数据方差和设备分布差异，同时兼顾对隐私和公平性的要求。

Jan, 2020

面向通信高效和隐私保护的联邦表示学习

本文探讨了在通信成本和隐私保护的限制下联邦表示学习的可行性。首先证明了自监督对比本地训练的鲁棒性，然后基于此提出了一种新的 Federated representation Learning 框架，使用相似度蒸馏对全局模型进行训练。我们通过一系列实验验证了这种方法的有效性，并表明在多种数据集上，尽管受到更严格的限制，它仍能够以可比较的结果实现多种设置下的性能。

Sep, 2021

混合联邦图卷积神经网络：一种高效的混合联邦学习算法

提出了一种称为 FedGraph 的泛化算法，该算法使用图卷积神经网络从客户端的子集中学习特征，捕捉特征共享信息，并采用简单但有效的聚类算法聚合每个客户端的深度神经网络生成的特征，同时保护数据隐私。

Apr, 2024

利用共享表示进行个性化联邦学习

本文提出了一个新的联邦学习框架和算法，用于在客户之间学习共享的数据表示和每个客户的独特的本地头。我们的算法利用了跨客户的分布式计算能力，以便每次更新表示时进行许多针对低维本地参数的局部更新。我们证明该方法在线性设置中获得与地面实况表示的线性收敛，并获得接近最优样本复杂度，从而在每个客户端高效地降低问题维度。这个结果超出了联合学习，是一类希望在数据分布中学习共享的低维表示的问题的广泛兴趣，例如在元学习和多任务学习中。此外，广泛的实验结果显示了我们的方法在异构数据的联邦环境中相对于可选的个性化联邦学习方法的经验改进。

Feb, 2021

联邦重构：部分本地化联邦学习

本文提出了联邦重构（Federated Reconstruction）方法，这是第一个适用于大规模交叉设备设置的局部联邦学习模型通用框架，可用于训练和推断，并在移动键盘应用中成功实现了基于本方法的联邦协同过滤。

Feb, 2021

通过联邦协同训练保护敏感数据

在隐私领域，通过联邦协同训练和共享标签实现保护敏感数据的查探，提高模型质量并保护隐私免受常见的成员推理攻击。

Oct, 2023

分布式个性化在线联邦学习

我们提出了一个新的去中心化个性化在线联邦学习设置，用于在在线环境中学习，在每个客户端上学习个性化模型，并在去中心化环境中学习。我们解决了两个技术挑战：如何通过优化本地模型的性能来聚合来自邻近客户端的共享模型参数，并通过学习的聚合权重选择最有帮助的邻居减少通信成本。

Nov, 2023

合作设备的联邦学习：大规模物联网网络的共识方法

这篇论文介绍了一种完全分布式的联邦学习算法，该算法的优点在于避免了数据披露并具有扩展性商用前景，可以在包括物联网设备在内的网络中使用。

Dec, 2019

联邦剩余学习

本研究探讨了一种新的联邦学习形式，其中客户端训练个性化本地模型，并与服务器端共享模型联合进行预测，通过这种新的联邦学习框架，可以最小化中央共享模型的复杂性，同时获得联合训练提供的所有性能优势。这个框架对数据异质性具有鲁棒性，解决了传统联邦学习方法在客户端数据非独立同分布时面临的收敛缓慢问题。我们在实证测试中发现，与基准线相比，取得了巨大的性能提升。

Mar, 2020

原型有助于联邦学习：朝着更快的收敛方向

该论文提出了一种基于原型的联邦学习框架，通过在典型的联邦学习进程的最后全局迭代中进行少量更改就能够实现更好的推理性能，从而在两个基准数据集上实现了更高的准确性和相对高效的通信。

Mar, 2023