gradient quantization | BriefGPT

关键词gradient quantization

搜索结果 - 5

住宅短期负荷预测的安全联邦学习框架
本研究提出一种基于梯度量化的差分隐私保护 Federated Learning 框架，旨在保障智能电表数据的隐私性及模型架构的安全性，有效防范 Byzantine 攻击，击败传统的 Fed-SGD 模型.
PDF2 years ago
面向通信效率的联邦学习中模型更新的自适应量化
本文研究提出了 AdaQuant FL，一种自适应量化策略，旨在通过在训练过程中改变量化级别的数量来实现通信效率以及低误差率。实验表明，与固定量化级别设置相比，该方法可以在更少的通信比特数中收敛，几乎不会对训练和测试的准确性产生影响。
PDF3 years ago
一种深度神经网络低比特宽度训练的统计框架
本论文提出了一个用于分析全量化训练算法的统计框架，并探讨了梯度量化对其收敛性的影响。作者开发了两个新的梯度量化器，并展示了这些量化器相对于现有的每个张量量化器具有更小的方差。
PDF4 years ago
数据并行 SGD 的自适应梯度量化
通过研究发现深度模型的梯度统计在训练过程中发生变化，于是引入两种自适应量化方案 ALQ 和 AMQ，显著改善了 CIFAR-10 和 ImageNet 的验证准确率，且更具鲁棒性。
PDF4 years ago
多路接入信道上的通信高效联邦学习
本研究基于多用户联合学习模型，旨在解决在大规模分布式学习中存在的通信瓶颈问题。该研究使用了一种随机梯度量化策略，得以精确定制不同节点的资源分配，减少通信开销，提高学习效率。
PDF4 years ago