边缘计算中基于抽奖票剪枝的增强隐私效率联邦学习

May, 2023

边缘计算中基于抽奖票剪枝的增强隐私效率联邦学习

Efficient Federated Learning with Enhanced Privacy via Lottery Ticket Pruning in Edge Computing

Yifan Shi, Kang Wei, Li Shen, Jun Li, Xueqian Wang...

TL;DR提出了 Fed-LTP，它是一种高效的隐私增强的联邦学习框架，能够通过稀疏到稀疏训练解决资源限制问题，并使用两种修剪方案（即基于权重的修剪和迭代修剪）生成被修剪的全局模型，拥有更好的通信、计算和存储效率，并采用基于拉普拉斯机制的模型验证实现更好的收益隐私权衡。

Abstract

federated learning (FL) is a collaborative learning paradigm for decentralized private data from mobile terminals (MTs). However, it suffers from issues in terms of communication, resource of MTs, and privacy. Existing privacy-preserving FL methods usually adopt the instance-level diff

federated learning privacy-enhanced sparse-to-sparse training pruning schemes laplace mechanism

发现论文，激发创造

LotteryFL: 针对非独立同分布数据个性化且通信高效的彩票假说联邦学习

LotteryFL 是一个个性化、通信高效的联邦学习框架，通过利用彩票票据假设来个性化地学习每个客户端的网络，从而极大地降低了通信成本，并在基于 MNIST、CIFAR-10 和 EMNIST 的非独立同 Distributed (IID) 数据集上获得了更好的性能。

Aug, 2020

高效个性化的联邦彩票票学习

本研究提出了一种个性化和通信高效的联邦彩票学习算法 CELL 来解决 LotteryFL 忽略减缓迟滞者的问题，该算法利用下行广播来提高通信效率，同时采用一种新颖的用户分组方法，从而在 CIFAR-10 数据集下获得了多达 3.6% 的个性化任务分类精度提高和 4.3 倍较小的总通信成本。

Apr, 2021

分层无线网络中的自适应联邦剪枝

本文在无线网络中为分层式联邦学习引入了模型剪枝技术，通过联合优化剪枝比例和无线资源分配，旨在最大化模型收敛速度以达到给定延迟阈值，并通过解耦优化问题和使用 KKT 条件得出了剪枝比例和无线资源分配的闭式解，并通过模拟结果展示了模型剪枝在 HFL 中实现了减少了约 50％的通信成本而实现了相似的学习准确率。

May, 2023

通过彩票票据假设和基于知识蒸馏的神经网络修剪增强推荐系统的可扩展性

该研究介绍了一种创新方法，旨在高效剪枝神经网络，特别关注其在边缘设备上的部署。通过将 “Lottery Ticket Hypothesis”（LTH）与 “Knowledge Distillation”（KD）框架相结合，我们提出了三个不同的剪枝模型，用于解决推荐系统中的可扩展性问题。通过巧妙应用剪枝技术，我们有效地降低了功耗和模型维度，同时又不影响准确性。实证评估使用来自不同领域的两个真实数据集对比了两个基准方法。令人满意的是，我们的方法在 GPU 计算能力上实现了高达 66.67% 的降低。值得注意的是，我们的研究通过首次应用 LTH 和 KD 在推荐系统领域做出了贡献。

Jan, 2024

无线网络上高效计算与通信的联邦学习

通过将学习模型分为全局部分和个性化部分，以实现模型剪枝和个性化，本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架，并通过数学分析研究了其收敛性、计算和通信延迟，并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明，相比只进行模型个性化的方案，该框架能够显著减少约 50％的计算和通信延迟。

Sep, 2023

FedLP：面向通信计算效率的层次剪枝联邦学习机制

本文介绍一种针对分布式学习中计算和通信优化的显式 FL 剪枝框架 (FedLP)，采用层次剪枝在本地训练和协作更新中，两种特定方案的实验验证表明 FedLP 可以减轻通信和计算瓶颈并具有良好的性能。FedLP 是将层次剪枝正式引入 FL 的第一个框架。

Mar, 2023

通过本地训练增强联邦学习中的隐私保护

通过提出联邦私有局部训练算法（Fed-PLT），本文解决了联邦学习中昂贵的通信和隐私保护等挑战，通过局部参与和训练，在中央协调员和计算代理之间显著减少通信轮次，实现了局部训练对准确性的无影响匹配。同时，代理具有从不同局部训练求解器中选择的灵活性，如（随机）梯度下降和加速梯度下降，还探讨了如何利用局部训练来增强隐私，并推导了差分隐私边界及其与局部训练轮次的依赖关系，通过理论分析和分类任务的数值结果与其他技术进行比较，评估了所提算法的有效性。

Mar, 2024

基於信息修剪的自動聯邦學習

这项研究介绍了一种利用知情剪枝的自动联邦学习方法，名为 AutoFLIP，在本地客户端和全局服务器中动态剪枝和压缩深度学习模型。它利用联邦丧失探索阶段研究来自不同数据集和丧失的模型梯度行为，提供参数重要性的见解。我们的实验证明 AutoFLIP 在具有强非独立同分布数据的场景中有显著的改进，突出了它处理计算约束并实现更好的全局收敛能力。

May, 2024

模型修剪使边缘设备上的联邦学习更高效

提出了一种新的联邦学习方法 PruneFL，其通过自适应和分布式参数修剪来减少通信和计算开销，并在维持类似于原始模型的准确度的同时，利用全局数据集合进行模型训练。

Sep, 2019

具有内在隐私的通信和能源高效的无线联邦学习

本文提出了一种无线边缘私有联邦学习方案 PFELS，通过奇异值稀疏化降低通信通信和能源消耗，提高交付速度，保证客户端级别的差分隐私，实现共享全局模型过程中的隐私安全保障。实验结果表明，与现有技术相比，PFELS 在保持同等差分隐私保障的同时能提高准确率和节省通信和能源成本。

Apr, 2023