gradient coding | BriefGPT - AI 论文速递

关键词gradient coding

搜索结果 - 7

基于 1 位梯度编码的分布式学习在滞后者存在下的应用
本文研究了分布式学习在存在迟滞节点的情况下的问题，提出了一种基于 1-bit 梯度编码的新的分布式学习方法，通过降低通信开销，在相同的通信开销下获得更好的学习性能。
PDF3 months ago
去除耗时者的分散式学习中的梯度编码
在本论文中，我们考虑了分布式学习中存在滞后问题的分散化学习问题。虽然梯度编码技术已经应用于分布式学习以规避滞后问题，其中设备发送带有冗余训练数据的编码梯度，但是直接应用这些技术到分散化学习场景中比较困难。为了解决这个问题，我们提出了一种基于
PDF5 months ago
通过迭代的块杠杆分数抽样进行梯度编码
通过广义化杠杆得分采样草图来适应对转换数据子集的采样，以使草图方法适用于分布式环境中的近似编码计算，从而加速在线性回归等一阶方法。
PDFa year ago
分布式学习中的滞后处理减轻随机梯度编码
本文提出了一种适用于随机拖延者的梯度编码方案（SGC），它通过一种成对平衡的设计将数据点冗余分配给工作人员，并忽略了拖延者，证明了 SGC 的收敛速度与批量随机梯度下降的收敛速度相匹配，并演示了设计中的冗余量如何改进收敛速度和处理大量拖延者
PDF5 years ago
使用 LDGM 代码的分布式随机梯度下降
该论文提出了一种使用低密度生成矩阵代码的分布式随机梯度下降方案，通过该方案可以在低计算成本下得到高质量的无偏梯度估计，进而改善整体性能。
PDF5 years ago
稀疏随机图中的近似梯度编码
通过稀疏图构建的计算简单的渐变编码可以有效增强算法对滞后节点的鲁棒性。
PDF7 years ago
循环 MDS 码和扩展器图的梯度编码
本文介绍梯度编码的技术，通过使用编码理论中的循环 MDS 码设计新颖的梯度编码，并引入一个近似变种，通过使用展开图的归一化邻接矩阵，实现了优秀的近似梯度编码，可以比精确梯度编码更高效地减少计算，确保更快地收敛。
PDF7 years ago