parallelization strategies | BriefGPT

关键词parallelization strategies

搜索结果 - 5

PaSE：高效 DNN 训练的并行化策略
本文提出了一种从计算图中自动找到高效并行化策略的方法，并通过对各种深度神经网络进行评估，发现其策略在所有案例中均优于基线数据并行化策略，且性能优于专家设计的策略和最先进的方法。
PDF6 days ago
FRED: 适用于芯片尺度分布式深度学习模型训练的灵活缩减分发互连和通信实现
提出了 FRED，这是一个面向片上网络的高带宽要求而量身定制的片上互连，可有效执行不同并行化策略的通信模式，并且通过大约 2 倍降低网络流量，改善了 ResNet-152，Transformer-17B，GPT-3 和 Transforme
PDF12 days ago
大数据聚类的并行化策略：高效 Big-Means 算法全面教程
本研究侧重于对大规模数据集聚类中 Big-means 算法的优化进行研究，探索了四种不同的并行化策略。我们进行了大量实验，评估了每种方法的计算效率、可扩展性和聚类性能，揭示了它们的优势和局限性。本文还探讨了计算效率与聚类质量之间的权衡，考察
PDF8 months ago
COMET：分布式深度学习训练的综合集群设计方法
介绍了一种名为 COMET 的深度学习集群设计方法和工作流程，该方法能够同时研究并优化并行化策略和关键集群资源配置以提高分布式深度学习模型的性能。纵观一个变量大小的计算，内存和网络资源的集群上训练基于 Transformer-1T 模型的实
PDF2 years ago
探索卷积神经网络并行化中的隐藏维度
本文提出了一种层级并行的方法来训练深度卷积神经网络，在这种方法中，每层神经网络都可以应用不同的并行策略以优化训练，通过解决图搜索问题来协同优化每个层的并行化方式。实验结果表明，与现有的并行化方法相比，采用该方法可以提高训练吞吐量，降低通信
PDF6 years ago