个性化在线联邦学习的多核方法

Nov, 2023

Personalized Online Federated Learning with Multiple Kernels

Pouya M. Ghari, Yanning Shen

TL;DR基于多核学习的在线非线性函数逼近，通过联邦学习在分布在不同客户端之间的数据上训练多核模型；提出一种算法框架，允许客户端以可负担的通信成本与服务器进行通信，并利用随机特征近似提出可扩展的在线联邦多核学习算法。实验证明，与其他在线联邦核学习算法相比，该算法具有显著优势。

Abstract

multi-kernel learning (MKL) exhibits well-documented performance in online non-linear function approximation. federated learning enables a group of learners (called clients) to train an MKL model on the data dist

multi-kernel learning federated learning online non-linear function approximation communication efficiency heterogeneous data distribution

发现论文，激发创造

基于图的在线多核学习

该论文提出了一种数据驱动的核选择方法，利用相似性构建和优化图，辅助选择核子集，以提高函数近似的准确性和降低计算复杂度，并且采用随机特征逼近来实现在线学习，并通过实验证明了新方法的优势。

Feb, 2021

纵向分区数据的联邦双随机核学习

本论文提出了一种名为 FDSKL 的算法，该算法使用随机特征来近似内核映射函数并使用双随机梯度更新解决方案，旨在高效地学习垂直分割的数据而保持数据安全和隐私。实验结果表明，该算法在处理内核时比现有的联合学习方法更快，并保留了类似的泛化性能。

Aug, 2020

本地记忆化的个性化联邦学习

通过利用深度神经网络从非表格数据（如图像和文本）提取高质量特征向量来提出一种基于本地记忆的个性化机制，该机制与基于全局模型的交叉训练相结合，使用局部ｋ- 近邻模型实现个性化，并且在二元分类情况下给出了一般化边界。在一系列联合数据集上实验证明了这种方法的准确性和公平性显著优于现有的状态 - of-the-art 方法。

Nov, 2021

面向异构客户的个性化联邦学习与聚类知识迁移

本研究提出了一种适用于高度数据和系统异构的个性化联邦学习框架 PerFed-CKT，可使用不同的模型架构，通过簇内共同训练和知识传输来降低通信成本并在测试中获得高精度。

Sep, 2021

多个局部线性核机器

提出了一种基于局部线性分类器组合的新非线性分类器，通过使用许多局部线性核将问题转化为 l1 多核学习问题，并提供了一种可扩展的用于处理流核的通用 MKL 训练算法，从而得到了适应高准确性但较慢的非线性分类器和快速但较低准确性的线性分类器之间的分类器。

Jan, 2024

基于特征融合的个性化联邦学习

本研究讨论了联邦学习中的数据异质性问题，并提出了一种个性化的联邦学习方法，名为 pFedPM，通过特征上传来减少通信成本和允许异构客户端模型，实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。

Jun, 2024

神经切向核强化联邦学习

该论文提出了一种基于神经切向核的新型联邦学习范式，通过传输比传统联邦学习范式更具表现力的样本级 Jacobian 矩阵，解决了统计异质性的挑战，并进一步开发了一种改进的变体，其在保持相同准确性的情况下，将通信轮数减少了一个数量级。

Oct, 2021

使用随机傅里叶特征在 RKH 空间中进行网络分布式在线学习

我们提出了一种新颖的扩散方案，用于在网络上进行基于内核的在线学习，通过使用 Random Fourier Features，将解决方案近似为固定大小的向量，并提供了渐近收敛和网络遗憾的限制条件。

Mar, 2017

面向个性化联邦学习的参数化知识传递

提出了一个基于个性化模型的联邦学习框架来应对异构模型的限制，并使用参数化群体知识转移训练算法来使客户端间自适应强化协作，从而实现个性化模型训练，并与现有方法进行比较得到显著的性能提升。

Nov, 2021

基于联邦学习的在线模型选择和精调的预算控制

在线模型选择是从一组候选模型中‘即时’选择一个模型来对数据流进行预测。本论文提出了一种在线联邦模型选择框架，其中一组学习者与具有足够内存的服务器进行交互，服务器存储所有候选模型。然而，每个学习者只选择将适合其内存的一部分模型存储，并使用其中一个存储的模型执行自己的预测任务。此外，使用该算法，学习者和服务器合作对模型进行微调以使其适应非稳态环境。理论分析证明了该算法相对于后知模型具有次线性损失。对真实数据集的实验表明了该算法的有效性。

Jan, 2024