May, 2017

多项式码：高维编码矩阵乘法的最优设计

PDF
TL;DR本研究提出了一种叫做 “多项式编码” 的计算策略，使用分布式系统（由主节点和多个工作节点组成）来进行大规模矩阵乘法计算，并通过利用编码理论的思想在工作节点上设计中间计算，以有效地处理延迟的工作节点，从而实现了恢复阈值的最优化，并在分布式卷积方面进行了扩展，以提高计算效率。
matrix multiplicationdistributed systempolynomial codesrecovery thresholddistributed convolution
发现论文，激发创造
  • 编码矩阵乘法的最优恢复阈值

    本文提出新的编码计算策略以用于分布式矩阵乘法，比最近的多项式编码中的恢复阈值更高，我们的 MatDot 编码只需要 2m-1 个成功的工作节点，而不是 m² 个，尽管会带来更高的通信代价。此外，我们还提出了 PolyDot 编码来权衡通信代价和恢复阈值，并通过应用 MatDot 和 PolyDot 编码思想，演示了一种用于矩阵乘法的编码技术。

    Jan, 2018

  • 编码稀疏矩阵乘法

    本文提出了一种名为 “sparse code” 的新的编码计算策略，旨在在大规模分布式矩阵乘法问题中处理分布式计算过程中的延迟问题和极高的计算损耗，实验结果证明了该策略比传统编码策略和未编码情况下的方法效果更好。

    Feb, 2018

  • 使用编码加速分布式机器学习

    探究编码算法在分布式机器学习中的应用，研究矩阵乘法和数据洗牌两种算法中应用编码技术减少 straggler 和 communication bottlenecks 时的优化效果，理论分析和实验结果均证明编码算法具有显著的优势。

    Dec, 2015

  • 基于推广 PolyDot 码的矩阵乘法统一编码深度神经网络训练策略

    本文提出 “Generalized PolyDot codes” 编码矩阵乘法技术，以解决 DNN 训练过程中软错误的问题，并实现了一种完全去中心化的实现方案，该方案能够比复制方案和预备的 MDS 编码方案提供无限制的容错收益。

    Nov, 2018

  • 随机极化码用于随时分布式机器学习

    提出一种强大的分布式计算框架，通过随机化草图和极化码的概念，能够进行近似和精确的线性操作计算，并在实践中展示了其可扩展性。

    Sep, 2023

  • 用于分布式计算和滞后服务器的块对角和 LT 编码

    本文介绍两种分布式计算方案：基于 MDS 代码的矩阵乘法分块编码方案和基于 Luby Transform 码的 inactivation 译码方案。数值结果表明，本文所提出的方案在截止日期内的性能优于文献中的其他方案。

    Dec, 2017

  • 面向并行和分布式计算的编码卷积在时限内的应用

    本文研究使用并行处理单元在 “关键时间” 分布式系统中计算两个长向量的卷积问题，提出基于编码的方案，有效提升了抗 Stragglers 能力，能显著提高在钟摆时间内完成计算的概率，并使用渐进失效指数分析技术，建立了一个新的分布式系统评估方法。

    May, 2017

  • 拉格朗日编码计算：弹性、安全和隐私的最优设计

    提出 Lagrange 编码计算（LCC）框架，用于提高分布式学习算法的可靠性、安全性和隐私性，加速分布式最小二乘线性回归等计算，同时优化容忍失败节点和对抗者的最大数量，以及防止最大数量的共谋工作的数据隐私。

    Jun, 2018

  • 编码分布式优化的序列逼近框架

    该研究提出了一种基于连续逼近的分布式计算框架，以解决优化问题，特别是针对最终价值计算过程中计算时间不相同（由于处理器延迟或者出错）的情况，其中矩阵 - 向量乘法的编码定理和优化方案也被探讨。

    Oct, 2017

  • 具有 Stragglers 的 Map-Shuffle-Reduce 系统的延迟 - 通信权衡改进

    在分布式计算系统中，通过编码存储的数据可以减少迟滞服务器造成的延迟，并减少在洗牌阶段的服务器之间的通信负载。本文通过内部的重复编码来提高外部最大距离可分离（MDS）码的速率，进而提高洗牌阶段的多播机会，从而改善了最佳延迟和通信开销之间的平衡。

    Aug, 2018