NIPSApr, 2017

Short-Dot”: 使用编码短点积分布式计算大规模线性变换

PDF
TL;DR本文介绍了一种基于编码理论的新技术，名为‘Short-Dot’，通过引入冗余计算来解决分布式计算中遇到的异常缓慢的处理器（即‘stragglers’）问题，并且相较于传统方案，Short-Dot 能够在减少计算、存储和通讯成本的同时提升计算速度和效率。
distributed computingredundancystragglerscoding theorylinear transforms
发现论文，激发创造
  • 面向并行和分布式计算的编码卷积在时限内的应用

    本文研究使用并行处理单元在 “关键时间” 分布式系统中计算两个长向量的卷积问题，提出基于编码的方案，有效提升了抗 Stragglers 能力，能显著提高在钟摆时间内完成计算的概率，并使用渐进失效指数分析技术，建立了一个新的分布式系统评估方法。

    May, 2017

  • 用于分布式计算和滞后服务器的块对角和 LT 编码

    本文介绍两种分布式计算方案：基于 MDS 代码的矩阵乘法分块编码方案和基于 Luby Transform 码的 inactivation 译码方案。数值结果表明，本文所提出的方案在截止日期内的性能优于文献中的其他方案。

    Dec, 2017

  • 分布式优化和学习中的迟滞者减缓冗余技术

    本文提出了一种分布式优化框架，通过将数据编码为过完备表示，并动态地在每次迭代中舍弃整个计算中的掉队节点，从而减少了延迟和通信传输的负担，结果表明在数据被编码的情况下，对于几种流行的优化算法，包括梯度下降、L-BFGS、在数据并行性下的近端梯度以及在模型并行性下的坐标下降，当掉队者被视为纠删码时，它们都会收敛到原始问题的近似或精确解，收敛结果是确定性的，并且与掉队分布的尾部行为无关，本研究还提出了一种用于大规模数据编码的高效机制，以及证明了用等角紧框架作为编码矩阵的理想性质，并与未编码、异步和数据复制策略进行了比较。

    Mar, 2018

  • 编码矩阵乘法的最优恢复阈值

    本文提出新的编码计算策略以用于分布式矩阵乘法，比最近的多项式编码中的恢复阈值更高，我们的 MatDot 编码只需要 2m-1 个成功的工作节点，而不是 m² 个，尽管会带来更高的通信代价。此外，我们还提出了 PolyDot 编码来权衡通信代价和恢复阈值，并通过应用 MatDot 和 PolyDot 编码思想，演示了一种用于矩阵乘法的编码技术。

    Jan, 2018

  • 具有 Stragglers 的 Map-Shuffle-Reduce 系统的延迟 - 通信权衡改进

    在分布式计算系统中，通过编码存储的数据可以减少迟滞服务器造成的延迟，并减少在洗牌阶段的服务器之间的通信负载。本文通过内部的重复编码来提高外部最大距离可分离（MDS）码的速率，进而提高洗牌阶段的多播机会，从而改善了最佳延迟和通信开销之间的平衡。

    Aug, 2018

  • 利用 Reed-Solomon 码改进分布式梯度下降

    本文介绍了一种分布式梯度下降方法，该方法使用编码理论并考虑存在 stragglers 的情况，以恰当的机器学习问题为应用场景，理论证明了在给定机器计算能力的情况下，可以通过最少数量的机器 $f$ 通过 $O (f^2)$ 解码算法恢复梯度，并提供了一个理论模型来最小化方案参数，从而最小化期望等待时间。最终，数值实验表明了该方法的优越性。

    Jun, 2017

  • 编码分布式优化的序列逼近框架

    该研究提出了一种基于连续逼近的分布式计算框架，以解决优化问题，特别是针对最终价值计算过程中计算时间不相同（由于处理器延迟或者出错）的情况，其中矩阵 - 向量乘法的编码定理和优化方案也被探讨。

    Oct, 2017

  • 基于推广 PolyDot 码的矩阵乘法统一编码深度神经网络训练策略

    本文提出 “Generalized PolyDot codes” 编码矩阵乘法技术，以解决 DNN 训练过程中软错误的问题，并实现了一种完全去中心化的实现方案，该方案能够比复制方案和预备的 MDS 编码方案提供无限制的容错收益。

    Nov, 2018

  • 数据编码在分布式优化中的缓解残留问题

    本文提出了一种直接在数据中嵌入冗余来处理缓慢任务的新方法，通过一些编码技巧将复制数据的策略转换到线性计算过程中，从而利用节点的任意变化在没有等待慢节点的情况下完成散列计算，并通过实验结果表明此方法的优势。

    Nov, 2017

  • 使用编码加速分布式机器学习

    探究编码算法在分布式机器学习中的应用，研究矩阵乘法和数据洗牌两种算法中应用编码技术减少 straggler 和 communication bottlenecks 时的优化效果，理论分析和实验结果均证明编码算法具有显著的优势。

    Dec, 2015