straggler mitigation | BriefGPT

关键词straggler mitigation

搜索结果 - 6

ICMLFedVS: 面向分割模型的容错和隐私保护垂直联邦学习
本文提出 FedVS 解决纵向联邦学习中的两个主要问题：拖延的客户端会导致性能下降；本地数据和模型的上传会导致信息泄露。FedVS 通过设计本地数据和模型的密钥分享方案，同时保证了信息论隐私并防止客户端和服务器泄露。实验证明 FedVS 在
PDFa year ago
时变系统中强化学习的揭秘
探索如何通过一个稳健的框架解决非稳态环境下的强化学习问题，其中该框架通过识别不同的环境、触发探索、将先前环境的知识保留下来以及保护系统性能来训练 RL agent，并且在解决一些系统问题时进行了验证。
PDF2 years ago
Anytime 随机梯度下降：聆听所有工作者的时刻
本文提出了一种用于并行同步随机梯度下降 (SGD) 的方法，通过固定工作节点的计算时间并组合所有节点的不同贡献，优化并提高了计算效率，有效地解决了严重拖慢收敛速度的 straggler 问题。
PDF6 years ago
分布式梯度方法的近似最优散乱者缓解
本研究提出了一种名为批处理优惠券集合（BCC）的分布式计算方案，以减轻梯度法中流浪者的影响，该方案在随机弱者数量接近最优时具有鲁棒性，并证明了 BCC 方案的有效性，提高了 85.4％的运行时间。此外，该方案的泛化结果证明了其能够在异构工作
PDF7 years ago
通过延迟重新启动任务来缓解落后者问题
本文分析了使用简单复制或擦除编码技术以减少中间结果 straggler 对任务执行时间的影响，通过代价和延迟的比较，发现擦除编码技术在处理长尾延迟任务时比简单复制技术更加有效，提供了实验证明。
PDF7 years ago
循环 MDS 码和扩展器图的梯度编码
本文介绍梯度编码的技术，通过使用编码理论中的循环 MDS 码设计新颖的梯度编码，并引入一个近似变种，通过使用展开图的归一化邻接矩阵，实现了优秀的近似梯度编码，可以比精确梯度编码更高效地减少计算，确保更快地收敛。
PDF7 years ago