Jun, 2024

失败训练：并行机器学习训练中数据一致性的影响

PDF
TL;DR通过放宽数据一致性并使用不同的参数服务器配置，本研究探讨了在并行机器学习训练期间的故障容忍性。结果表明，使用无状态参数服务器方法，即使使用过期的权重和梯度，系统仍能保持收敛，并在面临故障时提高准确性，但链式复制和检查点技术则在准确度上受到影响。这些结果表明，在服务器宕机期间允许工作节点持续生成更新，并稍后应用这些更新可以有效提高硬件利用率。此外，尽管资源使用较高，与标准检查点方法相比，无状态参数服务器方法在硬件使用方面具有类似的经济成本，这是由于常见云服务提供商的定价结构所致。
data consistencyparallel machine learning trainingfailure recovery strategiesstateless parameter serverhardware utilization
发现论文，激发创造
  • 迭代收敛式分布式机器学习中参数服务器的慢工问题实证研究

    当前研究旨在测试当前延迟问题缓解技术在不同重要的迭代收敛机器学习算法（包括矩阵分解、多项逻辑回归和潜在狄利克雷分布）上的有效性，并通过使用 FlexPS 系统实现了实验，该系统采用参数服务器架构进行最新的系统实现。本实验采用批同步并行计算模型来研究迭代收敛分布式机器学习中参数服务器上的延迟问题。此外，本研究还分析了参数服务器策略在并行学习问题上的实验安排，通过注入通用延迟模式并执行最新的缓解技术。该研究的发现具有重要意义，因为它们为进一步研究该问题提供了必要的平台，并允许研究人员比较不同的方法用于各种应用。因此，预计该研究结果将促进新技术的发展，并以新的视角解决这一问题。

    Jul, 2023

  • 分布式机器学习中滞后性的影响研究

    本文探讨延迟更新对各种机器学习模型和算法收敛行为的影响，并针对非凸优化中随机梯度下降算法的收敛分析，匹配最佳已知收敛率。

    Oct, 2018

  • 分布式同步 SGD 的再探讨

    本文研究了分布式训练深度学习模型时采用同步优化的可行性，发现同步优化虽然会浪费一些等待时间，但采用备用工作者的方式可以避免异步噪声并加速收敛，同时能够在保证准确性的前提下提高测试准确率。

    Apr, 2016

  • 神经网络中应用参数重用克服灾难性遗忘

    本文提出了一种名为 AdaptCL 的自适应学习方法，该方法通过参数再利用和增长来克服灾难性遗忘，并允许积极的后向传递，同时不需要数据集标签。

    Jul, 2022

  • 探索无服务器计算对点对点训练机器学习的影响

    通过将无服务器计算与点对点网络相结合，提出了一种在资源限制下实现高效并行梯度计算的新型架构，相比传统的点对点分布式训练方法，在梯度计算时间上取得了显著提升，同时也引入了更高的成本。

    Sep, 2023

  • 分布式深度学习中模型准确性与运行时间的权衡：一个系统性研究

    本文提出了 Rudra—— 一种参数服务器为基础的分布式计算框架，通过异步随机梯度下降算法的变体，研究了同步协议、过期的梯度更新、小批量大小、学习速率和学习者数量对运行时性能和模型精度的影响，并提出了一种新的学习率调制策略和同步协议，这可以有效地限制梯度在过期期间的误差，提高运行时性能并实现良好的模型精度。此外，我们揭示了一种分布式神经网络的原则：随着系统中增加了更多的学习者，每位学习者的最小批量大小应相应减小以保持模型精度，并使用常用的图像分类基准数据集 CIFAR10 和 ImageNet 进行验证。

    Sep, 2015

  • 分布式梯度方法：拓扑结构是否重要？

    该论文研究了分布式优化方法中工作通讯拓扑对收敛速度的影响，并提出通过使用稀疏拓扑来提高收敛速度的方法。

    Feb, 2020

  • 分布式深度学习的扩展方法

    该研究比较了同步和异步随机梯度下降的收敛性，针对 ImageNet 分类问题的训练，在 32 个节点以下异步 SGD 包括弹性平均和 gossiping 能更快收敛，而同步 SGD 在 100 个节点以下能更好地扩展。

    Nov, 2016

  • 并行随机梯度下降的混合方法

    我们提出了一种介于同步和异步方法之间的混合数据并行性方法，使用这两种方法训练神经网络，通过适当选择阈值函数来逐渐从异步转为同步的参数聚合，我们证明在一定时间范围内，我们的混合方法优于异步和同步方法。

    Jun, 2024

  • 深度学习模型并行加速中的陈旧度优化

    本研究提出了 Layer-wise Staleness 方法与 Diversely Stale Parameters (DSP) 算法来解决深度卷积神经网络的训练效率问题，并对两种梯度法进行分析和证明，实验证明 DSP 能显著提升训练速度并具备更强的鲁棒性。

    Sep, 2019