Apr, 2016

分布式计算中计算和通信之间的根本权衡

PDF
TL;DR本论文研究的问题是如何在分布式计算中，通过优化计算负载来降低通信负载，通过研究分布式计算中计算和通信之间的权衡关系，提出一种编码方案，命名为 “编码分布式计算”（CDC），该方案通过增加 Map 函数的计算负载来减少通信负载，实现了计算和通信的最优权衡。同时，将 CDC 的编码技术应用于 Hadoop TeraSort 基准测试中，开发出一种新的编码 TeraSort 算法，对实验中最常用的设置进行了验证，整个作业执行速度提高了 1.97 至 3.39 倍。
distributed computingcomputation-communication tradeoffcoded distributed computingcoding techniqueshadoop terasort
发现论文，激发创造
  • 分布式图分析的编码计算

    本文提出了一种基于编码计算的分布式图处理框架，通过结构性冗余注入来在消息交换时实现编码的多播机会，从而大规模减少了通信负载，理论分析证明该方案在两种流行的随机图模型（Erdos-Renyi 模型和幂律模型）中实现了计算负载和平均通信负载之间的（近似）反比例线性折衷，实验结果表明该方案在 PageRank 计算中具有显着提高。

    Jan, 2018

  • 面向带延迟的服务器分布式计算的统一编码框架

    本文介绍了一种针对分布式计算的编码框架，通过在某些线性计算任务中引入 “计算延迟” 和 “通信负载” 之间的权衡来解决延迟和通信负载问题，从而实现在延迟和负载之间取得权衡来执行分布式计算任务。

    Sep, 2016

  • 编码 MapReduce

    本文介绍了一种名为 “编码 MapReduce” 的变体实现，旨在大大减少 MapReduce 的洗牌阶段中的服务器间通信负载，从而加快它的执行，并对 “编码 MapReduce” 的 “计算负载” 和 “通信负载” 之间的权衡进行分析。

    Dec, 2015

  • 分布式计算中的存储通信权衡与延迟节点

    本文提出了一种基于 Comp-PDAs 框架的通用编码计算方案，用于处理存在滞后节点的 MapReduce 系统，并且证明了该方案可以在任意数量的滞后节点下实现最优性能，同时可以将求解存储和通信负载的问题转化为 Comp-PDAs 参数的表达式。

    Jan, 2019

  • Map-Reduce 计算成本的上下界

    本文探讨了在 map-reduce 计算中并行性和通信成本之间的权衡问题，并引入了单轮 map-reduce 计算问题的模型，以发现以分配给一个缩小器的最大输入数为函数的通信成本下界。作者对三个问题进行了分析：找到两个距离为 $d$ 的字符串、在较大的图形中查找三角形和其他模式以及矩阵乘法。

    Jun, 2012

  • 通信计算高效的梯度编码

    该论文提出了一种编码技术，以减少分布式学习任务的运行时间，并基于递归多项式结构提出了一种编码方案，优化了梯度计算的运行时间，同时保持相同泛化误差。

    Feb, 2018

  • 分布式优化中通信与计算的平衡

    本文采用自适应成本框架和显示分解算法的方法对分布式梯度下降（DGD）算法进行了改进，并将其应用于机器学习中的二次函数和分类问题中，结果表明，新算法 NEAR-DGD^+ 在迭代、梯度评估和通信方面的性能优于基本算法。

    Sep, 2017

  • 异构集群上的编码计算

    本文提出了一种编码框架（HCMM）以提高异构分布式计算的速度，并展示了在 Amazon EC2 上进行分布式矩阵乘法实验的结果。该方法比三种基准负载分配方案的速度分别快 61％，46％和 36％。同时，我们还提供了在异构设置中的最优负载分配问题的一般化解决方案，并开发了一个启发式算法（HCMM）负载分配问题。

    Jan, 2017

  • 在有限通信条件下维持分布式学习和优化的线性收敛性

    研究分布式优化和机器学习中如何通过压缩信息和设计通信协议来降低通信时间并保持算法收敛性的方法和框架。

    Feb, 2019

  • 分布式优化中的网络拓扑和通讯计算权衡

    本文介绍了去中心化优化中最近的研究进展，并概述了针对不同场景的算法和分析，强调了网络拓扑在这些方法中的作用。

    Sep, 2017