BriefGPT.xyz
大模型
Ask
alpha
关键词
stragglers
搜索结果 - 26
使用 LDGM 代码的分布式随机梯度下降
该论文提出了一种使用低密度生成矩阵代码的分布式随机梯度下降方案，通过该方案可以在低计算成本下得到高质量的无偏梯度估计，进而改善整体性能。
PDF
5 years ago
MM
编码分布式优化的序列逼近框架
该研究提出了一种基于连续逼近的分布式计算框架，以解决优化问题，特别是针对最终价值计算过程中计算时间不相同（由于处理器延迟或者出错）的情况，其中矩阵 - 向量乘法的编码定理和优化方案也被探讨。
PDF
7 years ago
利用 Reed-Solomon 码改进分布式梯度下降
本文介绍了一种分布式梯度下降方法，该方法使用编码理论并考虑存在 stragglers 的情况，以恰当的机器学习问题为应用场景，理论证明了在给定机器计算能力的情况下，可以通过最少数量的机器 $f$ 通过 $O (f^2)$ 解码算法恢复梯度，
→
PDF
7 years ago
面向并行和分布式计算的编码卷积在时限内的应用
本文研究使用并行处理单元在 “关键时间” 分布式系统中计算两个长向量的卷积问题，提出基于编码的方案，有效提升了抗 Stragglers 能力，能显著提高在钟摆时间内完成计算的概率，并使用渐进失效指数分析技术，建立了一个新的分布式系统评估方法
→
PDF
7 years ago
NIPS
Short-Dot”: 使用编码短点积分布式计算大规模线性变换
本文介绍了一种基于编码理论的新技术，名为‘Short-Dot’，通过引入冗余计算来解决分布式计算中遇到的异常缓慢的处理器（即‘stragglers’）问题，并且相较于传统方案，Short-Dot 能够在减少计算、存储和通讯成本的同时提升计算
→
PDF
7 years ago
梯度编码
本文提出了一个新的编码理论框架用于缓解分布式学习中的滞后问题，并使用 MPI 在 Amazon EC2 上实现了该方案，得出其在运行时间和泛化误差方面比基准方法更优秀的结论。
PDF
8 years ago
Prev
Next