高效的任务复制以实现并行计算中的快速响应时间

Apr, 2014

高效的任务复制以实现并行计算中的快速响应时间

Efficient Task Replication for Fast Response Times in Parallel Computation

Da Wang, Gauri Joshi, Gregory Wornell

TL;DR本文研究大规模分布式计算中任务复制对响应时间和资源使用的影响，并提出了一些高效的算法来寻找最优的调度策略。

Abstract

One typical use case of large-scale distributed computing in data centers is to decompose a computation job into many independent tasks and run them in parallel on different machines, sometimes known as the "embarrassingly parallel" computation. For this type of computation, one challe

large-scale distributed computing task replication response time resource usage scheduling policy

发现论文，激发创造

大规模并行计算中高效 straggler 复制

本文提供了一个分析云计算任务并行执行框架中任务复制对延迟和计算资源成本的权衡的框架，通过回答设计问题，如何在什么时候复制滞后的任务，启动多少副本等。我们的分析表明，对于某些执行时间分布，少量任务复制可以显著降低延迟和计算资源的成本，并提出一种基于任务执行时间的经验分布估计延迟和成本的算法。与 MapReduce 中使用的现有复制策略相比，使用 Google Cluster Trace 中的样本进行评估揭示了进一步的延迟和成本降低。

Mar, 2015

任务分配对带拖延的分布式计算系统的影响

本文研究分布式计算中冗余任务分配和批处理对计算时间的影响，并发现在拥有固定任务数量的系统中，均匀复制非重叠批次的计算任务可以实现最小化的计算时间。

Aug, 2018

车联网边缘计算的分布式任务复制：性能分析与基于学习的算法

本文提出了一种在车辆边缘计算系统中使用多个任务副本进行任务卸载，以减少任务卸载延迟的学习算法，并通过实验展示了该算法的良好性能。

Feb, 2020

云系统延迟降低的高效冗余技术

在云计算系统中，确定冗余策略的适用条件和实现方式是降低时延和成本的关键。通过对任务服务时间分布的对数凹凸性进行研究，该文设计出一种通用的冗余策略，在最大化降低时延和最小化成本之间达到了很好的平衡。

Aug, 2015

机器学习的分布式优化中的最佳数据分割

通过使用本地数据相似性算法，本研究考虑了通信成本和本地计算开销之间的关系，并旨在实现服务器和本地计算机之间分布式数据的最佳比例，通过与均匀分布相比较，实验证明了我们解决方案的优越理论性能。