Fed-QSSL: 基于位宽和数据异构性的个性化联邦学习框架

AAAIDec, 2023

Fed-QSSL: 基于位宽和数据异构性的个性化联邦学习框架

Fed-QSSL: A Framework for Personalized Federated Learning under Bitwidth and Data Heterogeneity

Yiyue Chen, Haris Vikalo, Chianing Wang

TL;DR通过使用分布式自监督学习以及低位量化，Fed-QSSL 是一个旨在解决联邦学习系统中异质性的方案，并通过解量化、加权聚合和重新量化在客户端设备上创建个性化的模型，验证了该算法的有效性，并对低位训练对学习模型的收敛性和健壮性进行了理论分析。

Abstract

Motivated by high resource costs of centralized machine learning schemes as well as data privacy concerns, federated learning (FL) emerged as an efficient alternative that relies on aggregating locally trained models rather than collecting clients' potentially private data. In practice

federated learning heterogeneity quantization-based self-supervised learning data distribution infrastructure

发现论文，激发创造

FedQNN：基于量子神经网络的联邦学习

本研究探索了量子联邦学习作为一个框架，通过分布式网络来训练量子机器学习模型的创新领域。我们提出的联邦量子神经网络框架是一种前沿解决方案，将量子机器学习的独特特性与经典联邦学习的原理融合在一起。通过在不同数据集上进行的实验证明，我们的 FedQNN 框架具有很强的适应性和功效，可以在分布式环境中安全处理数据并促进合作学习，结果在三个不同数据集上始终保持超过 86% 的准确率，证明了它在进行各种量子机器学习任务上的适用性。我们的研究不仅确定了传统范式的局限性，还提出了一个新的框架，推动量子机器学习领域进入一个新时代的安全和协作创新。

Mar, 2024

QMGeo：基于混合截断几何分布的随机量化差分隐私联邦学习

本文提出了一种新颖的随机量化方法，利用混合几何分布引入所需的随机性，以提供差分隐私，而不引入任何附加噪声，并通过收敛分析和实证研究了该方法的性能。

Dec, 2023

QuPeD: 量子化个性化通过蒸馏技术的应用于联合学习

本篇文章提出了一种名为 QuPeD 的基于知识蒸馏的量化个性化联邦学习算法，旨在协同处理具有不同资源和数据异构性的客户端，以便在全局级别训练多个压缩个性化模型。通过在优化过程中引入量化和知识蒸馏方法，实现了在不同的模型维度 / 结构和精度方案下的客户端个性化训练。数值实验证明了 QuPeD 在各种异构设置下优于现有联邦学习方法 FedAvg 和本地客户端训练。

Jul, 2021

资源受限异构设备上的联邦学习的混合精度量化

引入混合精度量化方法到异构资源联邦学习系统中以解决通信和计算瓶颈问题，并在多个模型架构和数据集上进行了广泛的基准性实验验证其优于固定精度量化的性能。

Nov, 2023

FedAQ: 基于上下行自适应量化的通信高效联邦边缘学习

通过使用量化的综合方法，联合上下行适应性量化以减少通信开销，我们优化了学习收敛性，并通过确定最优的上行和下行量化位数进行了通信能量约束。实验结果表明，所提出的联合上行和下行适应性量化策略与现有方案相比，能够节省高达 66.7% 的能量。

Jun, 2024

LW-FedSSL：资源高效的逐层联邦自监督学习

提出一种层次化的联邦自监督学习方法 (LW-FedSSL)，通过在 FL 环境中利用资源丰富的服务器进行全局模型训练，以及在 FL 本地模型与全局模型之间建立紧密联系的表示对齐机制，实现了与端到端 FedSSL 相当的性能，同时显著降低客户端的资源需求。实验证明 LW-FedSSL 的内存需求较其端到端对应物少 3.3 倍，并且通信成本便宜 3.2 倍。同时，还探索了一种名为 Prog-FedSSL 的渐进训练策略，其在类似内存需求的情况下，通信成本便宜 1.8 倍，优于端到端训练。

Jan, 2024

通信高效的联邦深度神经网络架构及量化协同搜索，用于个性化硬件感知偏好的常见问题解答

提出了 FAQS，这是一个高效的个性化 FL-NAS 量化框架，具有权重共享超级内核，比特共享量化和掩码传输等特征，可帮助减少通信成本并生成适合于各种用户偏好的异构硬件感知模型。实验结果表明，FAQS 比常规 FL 框架每轮通信带宽平均降低 1.58 倍，并比 FL+NAS 框架高效 4.51 倍。

Oct, 2022

随机量化，差分隐私在联邦学习中十分必要

本研究提出了一种通过量化和差分隐私相结合的联合学习算法 —— Randomized Quantization Mechanism（RQM）, 该算法通过两层随机化达到了 Renyi 差分隐私保护，同时在 DP 联合学习的隐私 - 准确性平衡方面取得了较好的表现，是首次仅通过随机量化而不使用显式离散噪声实现 Renyi DP 保证的研究。

Jun, 2023

稀疏化和量化的高效异步联邦学习

基于时间效率的异步稀疏量化联邦学习（TEASQ-Fed）能够利用边缘设备异步参与训练过程，并通过控制参数选择适当数量的并行边缘设备，进一步通过缓存机制和基于模型陈旧程度的加权平均来提高准确性，同时利用稀疏化和量化的方法压缩中间数据以加速训练，实验结果显示 TEASQ-Fed 提高了准确性（高达 16.67%）且加快了模型训练（最多两倍速）。

Dec, 2023

量子数据联邦学习

本论文提出了第一个完全量子联邦学习框架，该框架可以在量子数据上运行并以分散的方式共享量子电路参数的学习。论文首先生成了第一个分层数据格式的量子联邦数据集，然后将其提供给使用 QCNN 模型的客户端执行分类任务，并对提出的 QFL 解决方案进行广泛的实验以评估和验证其有效性。

May, 2021