Oct, 2022

通信高效的联邦深度神经网络架构及量化协同搜索，用于个性化硬件感知偏好的常见问题解答

PDF
TL;DR提出了 FAQS，这是一个高效的个性化 FL-NAS 量化框架，具有权重共享超级内核，比特共享量化和掩码传输等特征，可帮助减少通信成本并生成适合于各种用户偏好的异构硬件感知模型。实验结果表明，FAQS 比常规 FL 框架每轮通信带宽平均降低 1.58 倍，并比 FL+NAS 框架高效 4.51 倍。
发现论文，激发创造
  • FedAQ: 基于上下行自适应量化的通信高效联邦边缘学习

    通过使用量化的综合方法，联合上下行适应性量化以减少通信开销，我们优化了学习收敛性，并通过确定最优的上行和下行量化位数进行了通信能量约束。实验结果表明，所提出的联合上行和下行适应性量化策略与现有方案相比，能够节省高达 66.7% 的能量。

    Jun, 2024

  • 利用 FedNAS 进行非 IID 和隐形数据的联邦深度学习：神经结构搜索

    研究表明基于分布式的 Federated Learning 在处理数据分布不一致的情况下存在结构不适配的情况，提出基于 Neural Architecture Search 的 Federated NAS 算法来自动化协作搜索模型架构以提高模型精度和减少手动设计工作，在非独立同分布数据集上实验结果表明 FedNAS 所搜索到的模型架构胜过手动预设的模型架构。

    Apr, 2020

  • 通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

    Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

    Jan, 2024

  • 无线网络上高效计算与通信的联邦学习

    通过将学习模型分为全局部分和个性化部分，以实现模型剪枝和个性化，本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架，并通过数学分析研究了其收敛性、计算和通信延迟，并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明，相比只进行模型个性化的方案，该框架能够显著减少约 50％的计算和通信延迟。

    Sep, 2023

  • FedComLoc: 通信高效的稀疏与量化模型的分布式训练

    我们引入 FedComLoc 算法，集成了实用和有效的压缩技术到 Scaffnew 算法中，以进一步提高通信效率。通过使用流行的 TopK 压缩器和量化技术进行广泛实验，证明了在异构环境中大幅减少通信开销的能力。

    Mar, 2024

  • Fed-QSSL: 基于位宽和数据异构性的个性化联邦学习框架

    通过使用分布式自监督学习以及低位量化，Fed-QSSL 是一个旨在解决联邦学习系统中异质性的方案，并通过解量化、加权聚合和重新量化在客户端设备上创建个性化的模型，验证了该算法的有效性，并对低位训练对学习模型的收敛性和健壮性进行了理论分析。

    Dec, 2023

  • 稀疏化和量化的高效异步联邦学习

    基于时间效率的异步稀疏量化联邦学习（TEASQ-Fed）能够利用边缘设备异步参与训练过程，并通过控制参数选择适当数量的并行边缘设备，进一步通过缓存机制和基于模型陈旧程度的加权平均来提高准确性，同时利用稀疏化和量化的方法压缩中间数据以加速训练，实验结果显示 TEASQ-Fed 提高了准确性（高达 16.67%）且加快了模型训练（最多两倍速）。

    Dec, 2023

  • 面向轻量通信设计的联邦学习压缩

    本文研究压缩技术对典型图像分类任务的联邦学习的影响，并证明了一种简单的方法可以在保持不到 1% 准确率损失的同时压缩 50% 的消息，与最先进的技术相媲美。

    Oct, 2023

  • DAdaQuant：用于通信高效联邦学习的双重自适应量化

    本研究介绍了一种动态自适应的量化算法 DAdaQuant，可以在保证模型质量的前提下提高 client 到 server 的压缩比例，比强非自适应基线算法提高多达 2.8 倍。

    Oct, 2021

  • 联邦量化神经网络中能量、精度和准确性的平衡

    本文提出了一个基于固定精度的 QNN 的量化 FL 框架，从而在保证收敛的前提下，优化了精度与能耗之间的平衡，实现了在无线网络上的 FL，且相比标准 FL 算法，能耗降低了最多 53%

    Nov, 2021