BriefGPT.xyz
Ask
alpha
关键词
signsgd
搜索结果 - 4
高效的基于符号的优化：通过方差减少加速收敛
本文介绍了 signSGD 方法及其收敛速率的改进，并引入了基于符号的随机方差缩减（SSVR）方法，通过引入方差缩减估计器来跟踪梯度并利用其符号进行更新；此外，还研究了分布式环境中的异构多数投票，引入了两种新算法以获得更好的收敛速率，通过数
→
PDF
a month ago
非凸优化的基于符号随机重排算法的收敛性
signSGD 与随机重排（SignRR）在非凸优化中具有相同的收敛速率，我们还提出了利用减小方差的梯度和动量更新的 SignRVR 和 SignRVM 算法，且将这些算法扩展到数据在不同机器上分布的情况。
PDF
8 months ago
分布式学习中的选举编码：保护 SignSGD 免受拜占庭攻击
本文提出了选举编码，一种编码理论框架，用于保证在 SignSGD 中的拜占庭容错能力，能够在两个方向上传输最小的工人 - 主节点通信，探索了在一些工人可能是恶意的情况下找到多数意见的新信息论极限，并提供了可以容忍 Byzantine 攻击的
→
PDF
5 years ago
signSGD：非凸问题的压缩优化
signSGD 可通过传输最小批次随机梯度符号来缓解学习分布在多个 worker 上时的通信效率问题，在实际应用中，其动量对应项能够匹配 Adam 算法在深层 Imagenet 模型上的精度和收敛速度。高斯定理证明 sign-based 优
→
PDF
6 years ago
Prev
Next