编码稀疏矩阵乘法
本研究提出了一种叫做 “多项式编码” 的计算策略,使用分布式系统(由主节点和多个工作节点组成)来进行大规模矩阵乘法计算,并通过利用编码理论的思想在工作节点上设计中间计算,以有效地处理延迟的工作节点,从而实现了恢复阈值的最优化,并在分布式卷积方面进行了扩展,以提高计算效率。
May, 2017
本文提出新的编码计算策略以用于分布式矩阵乘法,比最近的多项式编码中的恢复阈值更高,我们的 MatDot 编码只需要 2m-1 个成功的工作节点,而不是 m² 个,尽管会带来更高的通信代价。此外,我们还提出了 PolyDot 编码来权衡通信代价和恢复阈值,并通过应用 MatDot 和 PolyDot 编码思想,演示了一种用于矩阵乘法的编码技术。
Jan, 2018
探究编码算法在分布式机器学习中的应用,研究矩阵乘法和数据洗牌两种算法中应用编码技术减少 straggler 和 communication bottlenecks 时的优化效果,理论分析和实验结果均证明编码算法具有显著的优势。
Dec, 2015
该研究提出了一种基于连续逼近的分布式计算框架,以解决优化问题,特别是针对最终价值计算过程中计算时间不相同(由于处理器延迟或者出错)的情况,其中矩阵 - 向量乘法的编码定理和优化方案也被探讨。
Oct, 2017
在分布式计算系统中,通过编码存储的数据可以减少迟滞服务器造成的延迟,并减少在洗牌阶段的服务器之间的通信负载。本文通过内部的重复编码来提高外部最大距离可分离(MDS)码的速率,进而提高洗牌阶段的多播机会,从而改善了最佳延迟和通信开销之间的平衡。
Aug, 2018
本文提出了一种编码框架(HCMM)以提高异构分布式计算的速度,并展示了在 Amazon EC2 上进行分布式矩阵乘法实验的结果。该方法比三种基准负载分配方案的速度分别快 61%,46%和 36%。同时,我们还提供了在异构设置中的最优负载分配问题的一般化解决方案,并开发了一个启发式算法(HCMM)负载分配问题。
Jan, 2017
本文介绍了一种分布式梯度下降方法,该方法使用编码理论并考虑存在 stragglers 的情况,以恰当的机器学习问题为应用场景,理论证明了在给定机器计算能力的情况下,可以通过最少数量的机器 $f$ 通过 $O (f^2)$ 解码算法恢复梯度,并提供了一个理论模型来最小化方案参数,从而最小化期望等待时间。最终,数值实验表明了该方法的优越性。
Jun, 2017
本文介绍两种分布式计算方案:基于 MDS 代码的矩阵乘法分块编码方案和基于 Luby Transform 码的 inactivation 译码方案。数值结果表明,本文所提出的方案在截止日期内的性能优于文献中的其他方案。
Dec, 2017