Sep, 2016

面向带延迟的服务器分布式计算的统一编码框架

PDF
TL;DR本文介绍了一种针对分布式计算的编码框架，通过在某些线性计算任务中引入 “计算延迟” 和 “通信负载” 之间的权衡来解决延迟和通信负载问题，从而实现在延迟和负载之间取得权衡来执行分布式计算任务。
发现论文，激发创造
  • 分布式图分析的编码计算

    本文提出了一种基于编码计算的分布式图处理框架，通过结构性冗余注入来在消息交换时实现编码的多播机会，从而大规模减少了通信负载，理论分析证明该方案在两种流行的随机图模型（Erdos-Renyi 模型和幂律模型）中实现了计算负载和平均通信负载之间的（近似）反比例线性折衷，实验结果表明该方案在 PageRank 计算中具有显着提高。

    Jan, 2018

  • 具有 Stragglers 的 Map-Shuffle-Reduce 系统的延迟 - 通信权衡改进

    在分布式计算系统中，通过编码存储的数据可以减少迟滞服务器造成的延迟，并减少在洗牌阶段的服务器之间的通信负载。本文通过内部的重复编码来提高外部最大距离可分离（MDS）码的速率，进而提高洗牌阶段的多播机会，从而改善了最佳延迟和通信开销之间的平衡。

    Aug, 2018

  • 分布式计算中的存储通信权衡与延迟节点

    本文提出了一种基于 Comp-PDAs 框架的通用编码计算方案，用于处理存在滞后节点的 MapReduce 系统，并且证明了该方案可以在任意数量的滞后节点下实现最优性能，同时可以将求解存储和通信负载的问题转化为 Comp-PDAs 参数的表达式。

    Jan, 2019

  • 分布式计算中计算和通信之间的根本权衡

    本论文研究的问题是如何在分布式计算中，通过优化计算负载来降低通信负载，通过研究分布式计算中计算和通信之间的权衡关系，提出一种编码方案，命名为 “编码分布式计算”（CDC），该方案通过增加 Map 函数的计算负载来减少通信负载，实现了计算和通信的最优权衡。同时，将 CDC 的编码技术应用于 Hadoop TeraSort 基准测试中，开发出一种新的编码 TeraSort 算法，对实验中最常用的设置进行了验证，整个作业执行速度提高了 1.97 至 3.39 倍。

    Apr, 2016

  • 编码分布式优化的序列逼近框架

    该研究提出了一种基于连续逼近的分布式计算框架，以解决优化问题，特别是针对最终价值计算过程中计算时间不相同（由于处理器延迟或者出错）的情况，其中矩阵 - 向量乘法的编码定理和优化方案也被探讨。

    Oct, 2017

  • 通信计算高效的梯度编码

    该论文提出了一种编码技术，以减少分布式学习任务的运行时间，并基于递归多项式结构提出了一种编码方案，优化了梯度计算的运行时间，同时保持相同泛化误差。

    Feb, 2018

  • 用于分布式计算和滞后服务器的块对角和 LT 编码

    本文介绍两种分布式计算方案：基于 MDS 代码的矩阵乘法分块编码方案和基于 Luby Transform 码的 inactivation 译码方案。数值结果表明，本文所提出的方案在截止日期内的性能优于文献中的其他方案。

    Dec, 2017

  • 异构集群上的编码计算

    本文提出了一种编码框架（HCMM）以提高异构分布式计算的速度，并展示了在 Amazon EC2 上进行分布式矩阵乘法实验的结果。该方法比三种基准负载分配方案的速度分别快 61％，46％和 36％。同时，我们还提供了在异构设置中的最优负载分配问题的一般化解决方案，并开发了一个启发式算法（HCMM）负载分配问题。

    Jan, 2017

  • 编码计算：一个学习理论框架

    编码计算是在大规模分布式计算中解决显著挑战的一个有前途的框架，本论文提出了一种基于学习理论的新型编码计算框架，通过最小化损失函数，结合编码器和解码器函数，以求得估计误差的均方误差衰减率，并在各种机器学习模型的推理任务中展示了该框架在准确性和收敛速度方面优于现有技术。

    Jun, 2024

  • 面向并行和分布式计算的编码卷积在时限内的应用

    本文研究使用并行处理单元在 “关键时间” 分布式系统中计算两个长向量的卷积问题，提出基于编码的方案，有效提升了抗 Stragglers 能力，能显著提高在钟摆时间内完成计算的概率，并使用渐进失效指数分析技术，建立了一个新的分布式系统评估方法。

    May, 2017