FCOM:基于表示学习的联合协作在线监控框架
在线模型选择是从一组候选模型中‘即时’选择一个模型来对数据流进行预测。本论文提出了一种在线联邦模型选择框架,其中一组学习者与具有足够内存的服务器进行交互,服务器存储所有候选模型。然而,每个学习者只选择将适合其内存的一部分模型存储,并使用其中一个存储的模型执行自己的预测任务。此外,使用该算法,学习者和服务器合作对模型进行微调以使其适应非稳态环境。理论分析证明了该算法相对于后知模型具有次线性损失。对真实数据集的实验表明了该算法的有效性。
Jan, 2024
该篇论文中提出了一种基于元学习的 Federated Learning 方法,针对一些问题如客户端异构性、难以调优的问题等,通过对客户端属性进行动态加权,进而调整更新步长的策略,相较于目前最先进的算法,在收敛速度和最终学习结果上均显著优于现有的算法。
Aug, 2022
该研究提出了一种名为 FedU 的联邦无监督学习框架,可以在保护数据隐私的同时利用去中心化的未标记图像数据学习视觉表示,并针对数据的非独立同分布问题提出了有效方法,实验证明其优于其他方法。
Aug, 2021
我们提出了一个新的去中心化个性化在线联邦学习设置,用于在在线环境中学习,在每个客户端上学习个性化模型,并在去中心化环境中学习。我们解决了两个技术挑战:如何通过优化本地模型的性能来聚合来自邻近客户端的共享模型参数,并通过学习的聚合权重选择最有帮助的邻居减少通信成本。
Nov, 2023
本文研究了在分布式设备网络上训练机器学习模型所面临的统计和系统挑战,提出了一种适用于多任务学习的优化方法 MOCHA,并在考虑通信成本、慢设备和容错性等实际系统问题的前提下,实现了比替代方法更显著的加速效果。
May, 2017
我们提出了 Fed-CO2,这是一个统一的联邦学习框架,用于处理标签分布倾斜和特征倾斜,通过在线和离线模型之间的合作机制来增强模型合作,同时设计了内部客户知识传递机制和客户间知识传递机制来增强模型之间的领域泛化能力。在处理标签分布倾斜和特征倾斜方面,我们的 Fed-CO2 在个体和整体上均优于现有的个性化联邦学习算法。
Dec, 2023
我们研究了在线模型选择与分散数据的问题,从最小化遗憾与计算成本的折衷角度提出了一种联邦算法,并证明了合作的必要性和限制计算成本的条件。我们的算法在分布式在线多核学习中提高了遗憾界限,并依赖于三种新技术:改进的马丁格尔的 Bernstein 不等式,名为 FOMD-No-LU 的联邦算法框架以及模型选择和预测的解耦,这可能具有独立的研究价值。
Apr, 2024
通过提出集中式的、基于神经网络的联邦学习系统,利用边缘计算减少中央服务器的负载,同时在各种数据分布设置中相对于一些现有基准算法取得令人满意的性能。
Nov, 2023
本研究提出了一个名为 FedMoCo 的鲁棒性联邦对比学习(FCL)框架,该框架在临床领域的分布式无标签医学数据上进行元数据传输和自适应聚合,并在 COVID-19 检测等下游任务中显著减少有标签数据需求,从而相对于传统联邦学习框架 FedAvg,更能在从医学图像中提取有意义的表示方面表现良好。
Sep, 2021