Jan, 2018

分布式图分析的编码计算

PDF
TL;DR本文提出了一种基于编码计算的分布式图处理框架，通过结构性冗余注入来在消息交换时实现编码的多播机会，从而大规模减少了通信负载，理论分析证明该方案在两种流行的随机图模型（Erdos-Renyi 模型和幂律模型）中实现了计算负载和平均通信负载之间的（近似）反比例线性折衷，实验结果表明该方案在 PageRank 计算中具有显着提高。
发现论文，激发创造
  • 分布式计算中计算和通信之间的根本权衡

    本论文研究的问题是如何在分布式计算中，通过优化计算负载来降低通信负载，通过研究分布式计算中计算和通信之间的权衡关系，提出一种编码方案，命名为 “编码分布式计算”（CDC），该方案通过增加 Map 函数的计算负载来减少通信负载，实现了计算和通信的最优权衡。同时，将 CDC 的编码技术应用于 Hadoop TeraSort 基准测试中，开发出一种新的编码 TeraSort 算法，对实验中最常用的设置进行了验证，整个作业执行速度提高了 1.97 至 3.39 倍。

    Apr, 2016

  • 面向带延迟的服务器分布式计算的统一编码框架

    本文介绍了一种针对分布式计算的编码框架，通过在某些线性计算任务中引入 “计算延迟” 和 “通信负载” 之间的权衡来解决延迟和通信负载问题，从而实现在延迟和负载之间取得权衡来执行分布式计算任务。

    Sep, 2016

  • 通信计算高效的梯度编码

    该论文提出了一种编码技术，以减少分布式学习任务的运行时间，并基于递归多项式结构提出了一种编码方案，优化了梯度计算的运行时间，同时保持相同泛化误差。

    Feb, 2018

  • 编码 MapReduce

    本文介绍了一种名为 “编码 MapReduce” 的变体实现，旨在大大减少 MapReduce 的洗牌阶段中的服务器间通信负载，从而加快它的执行，并对 “编码 MapReduce” 的 “计算负载” 和 “通信负载” 之间的权衡进行分析。

    Dec, 2015

  • 异构集群上的编码计算

    本文提出了一种编码框架（HCMM）以提高异构分布式计算的速度，并展示了在 Amazon EC2 上进行分布式矩阵乘法实验的结果。该方法比三种基准负载分配方案的速度分别快 61％，46％和 36％。同时，我们还提供了在异构设置中的最优负载分配问题的一般化解决方案，并开发了一个启发式算法（HCMM）负载分配问题。

    Jan, 2017

  • 使用编码加速分布式机器学习

    探究编码算法在分布式机器学习中的应用，研究矩阵乘法和数据洗牌两种算法中应用编码技术减少 straggler 和 communication bottlenecks 时的优化效果，理论分析和实验结果均证明编码算法具有显著的优势。

    Dec, 2015

  • 编码计算：一个学习理论框架

    编码计算是在大规模分布式计算中解决显著挑战的一个有前途的框架，本论文提出了一种基于学习理论的新型编码计算框架，通过最小化损失函数，结合编码器和解码器函数，以求得估计误差的均方误差衰减率，并在各种机器学习模型的推理任务中展示了该框架在准确性和收敛速度方面优于现有技术。

    Jun, 2024

  • 具有 Stragglers 的 Map-Shuffle-Reduce 系统的延迟 - 通信权衡改进

    在分布式计算系统中，通过编码存储的数据可以减少迟滞服务器造成的延迟，并减少在洗牌阶段的服务器之间的通信负载。本文通过内部的重复编码来提高外部最大距离可分离（MDS）码的速率，进而提高洗牌阶段的多播机会，从而改善了最佳延迟和通信开销之间的平衡。

    Aug, 2018

  • 利用聚类和多消息通信的梯度编码

    本文介绍了一种新的梯度编码（GC）方案，结合多消息通信（MMC）和聚类，以减少因服务器慢导致的迭代时间延长问题，其能有效提高平均完成时间并降低通信负荷。

    Mar, 2019

  • 稀疏随机图中的近似梯度编码

    通过稀疏图构建的计算简单的渐变编码可以有效增强算法对滞后节点的鲁棒性。

    Nov, 2017