Jul, 2023

自适应分特征压缩的通信高效分担学习

PDF
TL;DR本论文提出了一种新颖的通信高效的分离学习（Split Learning）框架，名为 SplitFC，它通过减少 SL 训练过程中传输中间特征向量和梯度向量所需的通信开销。SplitFC 使用两种压缩策略：自适应特征丢弃和自适应特征量化，其实现方式分别是根据向量标准差确定自适应丢弃概率和根据向量范围确定自适应量化级别。实验结果表明，与最先进的 SL 框架相比，SplitFC 在 MNIST、CIFAR-10 和 CelebA 数据集上提供了超过 5.6％的分类准确性提升，同时所需通信开销比不使用压缩的基础 SL 框架少 320 倍。
split learningcommunication-efficientsplitfccompression strategiesclassification accuracy
发现论文，激发创造
  • 具有单步合成特征压缩器的通信高效联邦学习，实现更快的收敛

    本论文提出一种名为 “单步合成特征压缩器” 的方法，通过直接构建基于原始梯度的微小合成数据集，来实现通信有效的联邦学习，并优化其性能和鲁棒性，从而在多个数据集和模型上展现出显著更高的收敛速率和更低的压缩率。

    Feb, 2023

  • FedLite: 一种基于资源受限客户端的可扩展联邦学习方法

    本文提出了一种使用聚类方案和梯度校正方法来压缩通信成本的分散式学习方法，经实验证明，该方法在保持精度的同时最多可实现 490 倍的通信成本降低，并且提供了可接受的性能与通信的平衡。

    Jan, 2022

  • FedComLoc: 通信高效的稀疏与量化模型的分布式训练

    我们引入 FedComLoc 算法，集成了实用和有效的压缩技术到 Scaffnew 算法中，以进一步提高通信效率。通过使用流行的 TopK 压缩器和量化技术进行广泛实验，证明了在异构环境中大幅减少通信开销的能力。

    Mar, 2024

  • 压缩误差反馈实现高效垂直联邦学习

    提出了一种错误反馈压缩式纵向联邦学习（EFVFL）方法，该方法通过利用错误反馈，在满批次情况下实现了 $\mathcal {O}(1/T)$ 的收敛速度，改善了垂直 FL 中压缩方法的收敛速度，并且与未压缩的方法相匹配，同时支持使用私有标签。数值实验证实了该方法在改善收敛速度方面的优越性，并验证了理论结果。

    Jun, 2024

  • 随机 Top-k 稀疏化减少分布式学习的通信

    本文研究了多种通信压缩方法，包括切割层数减少、top-k 限制、量化和 L1 正则化，并通过分析 cut layer size reduction 和 top-k sparsification 提出了随机化的 top-k sparsification 方法来提高模型泛化和收敛性，在相同的压缩程度下取得更好的模型性能。

    May, 2023

  • 超级神经元：基于 FFT 的梯度稀疏化在深度神经网络的分布式训练中的应用

    使用稀疏性和基于范围的浮点表示方法，本文提出了一种新的梯度压缩框架，该框架在不影响准确性和收敛速度的情况下，显著提高了最流行的神经网络在大规模 GPU 集群上的可扩展性。

    Nov, 2018

  • 通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

    Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

    Jan, 2024

  • 关于异构数据分布式优化的通信压缩

    本文研究比较了两种标准的数据压缩方法：分布式量化 SGD 和分布式 SGD 反馈错误的压缩机在非独立同分布数据集的训练效果，结果表明，后者比前者更适合非独立同分布数据，但两种方法都会因为数据分布的不均匀而变慢。文中还提出一种对于强凸问题有效的方法和适用于线性压缩器的更通用的方法。

    Sep, 2020

  • 一位压缩感知的通信高效去中心化联邦学习

    本文提出了一种基于不精确的交替方向法方法的新算法，在分散节点之间训练共享模型的过程中实现了稀疏约束、通信效率和计算效率的改进。

    Aug, 2023

  • 分布式和联邦学习的最优梯度压缩

    通过使用压缩技术来减少通信成本，我们研究了在压缩向量所需的比特数和压缩误差之间的基本权衡，为最坏情况和平均情况提供了紧密的下界。我们引入了一种高效的压缩算子和一种简单的压缩算子，它们都能达到最低下界，并在实验中取得了很好的效果。

    Oct, 2020