Jan, 2017

一种灵活的索引编码数据打乱方法

PDF
TL;DR本文探讨使用 pliable index coding 于分布式计算中的数据洗牌，通过数据洗牌约束下的可变编码和分层方案实现优化，性能比 index coding 提升高达 $O (ns/m)$。
index codingdistributed computingdata shufflingpliable codinghierarchical scheme
发现论文，激发创造
  • 使用编码加速分布式机器学习

    探究编码算法在分布式机器学习中的应用，研究矩阵乘法和数据洗牌两种算法中应用编码技术减少 straggler 和 communication bottlenecks 时的优化效果，理论分析和实验结果均证明编码算法具有显著的优势。

    Dec, 2015

  • 具有 Stragglers 的 Map-Shuffle-Reduce 系统的延迟 - 通信权衡改进

    在分布式计算系统中，通过编码存储的数据可以减少迟滞服务器造成的延迟，并减少在洗牌阶段的服务器之间的通信负载。本文通过内部的重复编码来提高外部最大距离可分离（MDS）码的速率，进而提高洗牌阶段的多播机会，从而改善了最佳延迟和通信开销之间的平衡。

    Aug, 2018

  • 分布式学习数据重排的信息理论极限

    本文研究数据重排问题中存储和最坏情况通信开销之间的信息熵权衡，并提出了一种新的系统数据传递和存储更新策略以最小化通信开销。

    Sep, 2016

  • 分布式图分析的编码计算

    本文提出了一种基于编码计算的分布式图处理框架，通过结构性冗余注入来在消息交换时实现编码的多播机会，从而大规模减少了通信负载，理论分析证明该方案在两种流行的随机图模型（Erdos-Renyi 模型和幂律模型）中实现了计算负载和平均通信负载之间的（近似）反比例线性折衷，实验结果表明该方案在 PageRank 计算中具有显着提高。

    Jan, 2018

  • 编码 MapReduce

    本文介绍了一种名为 “编码 MapReduce” 的变体实现，旨在大大减少 MapReduce 的洗牌阶段中的服务器间通信负载，从而加快它的执行，并对 “编码 MapReduce” 的 “计算负载” 和 “通信负载” 之间的权衡进行分析。

    Dec, 2015

  • 通信计算高效的梯度编码

    该论文提出了一种编码技术，以减少分布式学习任务的运行时间，并基于递归多项式结构提出了一种编码方案，优化了梯度计算的运行时间，同时保持相同泛化误差。

    Feb, 2018

  • 利用聚类和多消息通信的梯度编码

    本文介绍了一种新的梯度编码（GC）方案，结合多消息通信（MMC）和聚类，以减少因服务器慢导致的迭代时间延长问题，其能有效提高平均完成时间并降低通信负荷。

    Mar, 2019

  • 梯度编码

    本文提出了一个新的编码理论框架用于缓解分布式学习中的滞后问题，并使用 MPI 在 Amazon EC2 上实现了该方案，得出其在运行时间和泛化误差方面比基准方法更优秀的结论。

    Dec, 2016

  • 简单再生码：云存储的网络编码

    论文提出了一种针对分布式存储系统的编码方案，可以实现简单查找修复且具有任意高数据传输速率，并在云存储模拟中实验验证表明，相较于复制和标准的 Reed-Solomon 编码，该编码方案在性能和可靠性方面具有显著优势。

    Sep, 2011

  • 基于边缘设备的分布式学习的分层梯度编码设计与优化

    通过引入边缘节点作为额外的中间层，本文探讨了在分层分布式学习系统中缓解滞后效应的问题，首先推导了工作节点的计算负载和滞后者容忍度之间的基本权衡关系，然后提出了一种层级渐进编码框架，以实现所得到的计算权衡。为了在异构场景中进一步提高我们的框架性能，我们制定了一个优化问题，旨在最小化学习过程中每次迭代的预期执行时间，并设计了一种高效算法来数学求解该问题，得到最优策略。通过大量模拟结果，证明了我们的方案相对于传统解决方案的优越性。

    Jun, 2024