model parallelism | BriefGPT

关键词model parallelism

搜索结果 - 26

面向个性化推荐系统的深度学习推荐模型
该论文提供了一个使用 PyTorch 和 Caffe2 框架实现的深度学习推荐模型，该模型使用模型并行处理嵌入层以缓解内存限制，并利用数据并行扩展计算。与现有模型相比，该模型在 Big Basin AI 平台上的表现得到了完善的特性和良好的
PDF5 years ago
GPipe：使用流水线并行化高效训练巨型神经网络
GPipe 是一种管道并行库，它提供了一种高效进行模型并行化的方式，可以将不同子层序列分别放在不同的加速器上，因此可以有效地将各种不同的网络扩展到巨大的规模，并且能够实现快速的线性加速，通过对两个不同任务的训练，证明了 GPipe 的优势。
PDF6 years ago
音乐椅子：基于协作物联网设备的高效实时识别
本文介绍了一种名为 “音乐椅” 的分布式方法，通过数据并行和模型并行解决了物联网中资源受限设备处理实时数据的挑战，并在网络内部收集从输入传感器中获取的计算能力，以实现高效、本地化和动态的实时识别，相比较于 Tegra TX2，该系统不仅达到
PDF6 years ago
多重残差网络：提高残差网络的速度和准确性
本文提出了一种新的卷积神经网络架构，该架构通过扩展残差网络的层数，明确利用非常深网络的集成表现，并使模型变宽而不是更深，从而显著提高了准确性。受多元残差网络的并行结构启发，本研究还探讨了一种模型并行技术，该技术使残差块的计算分布在处理器之间
PDF8 years ago
深度学习中的并行化 8 位近似
利用 8 位近似算法在深度学习的并行化中提供更高的带宽利用率和数据传输速度，同时不降低预测性能，在非常大的多 GPU 系统中达到了 50 倍以上的速度提升，并且在模型并行方面实现了最先进的速度提升。
PDF9 years ago
GPU 异步随机梯度下降加速神经网络训练
本文介绍了一种新的系统 ——GPU A-SGD，它同时利用了模型并行和数据并行的方法，加快了卷积神经网络的训练速度，从而可以使大型网络在较短时间内训练大型数据集。
PDF11 years ago