compressed communication | BriefGPT

关键词compressed communication

搜索结果 - 5

具有压缩和动量跟踪的近最优分散优化
MoTEF 是一种将通信压缩与动量跟踪和误差反馈相结合的新方法，它在任意数据异质性下取得了显著优于现有方法的实际优越性。
PDFa month ago
AdaGossip：分布式深度学习中的自适应共识步长与通信压缩
AdaGossip 是一种新的技术，根据相邻代理之间的压缩模型差异自适应调整共识步长，通过大量实验证明在分布式学习中具有压缩通信时，相比于当前的最先进方法，在测试准确率上实现了卓越的性能（提高了 0-2% 的测试准确率）。
PDF3 months ago
具有理论保证的压缩通信分布式求解变分不等式方法
本文介绍了使用压缩通信解决变分不等式和鞍点问题的分布式方法：MASHA1 和 MASHA2，并通过两个实验验证了结论的正确性。
PDF3 years ago
分散式联邦学习：平衡通讯与计算成本
提出一种采用分布式训练（DFL）的通用分散式最随机梯度下降（SGD）框架，它可以解决在多个节点中进行通信和本地更新的平衡，具有压缩通信和强收敛保证的特点。
PDF3 years ago
AAAI分布式深度学习压缩通信的理论分析与实际实现之间的差异
通过实验和理论分析，本文表明在深度神经网络的分布式数据并行训练中，面向单个层的压缩比面向整个模型的压缩方式更好，但实验也显示，具体训练模型和压缩率都可能导致实际收敛率的变化。因此，本文建议深度学习框架应支持面向单个层和整个模型的压缩方式。
PDF5 years ago