scaling efficiency | BriefGPT

关键词scaling efficiency

搜索结果 - 5

Griffin：将门控线性循环与局部注意力相融合的高效语言模型
基于门控线性递归的 Hawk 和将门控线性递归与局部注意力相结合的混合模型 Griffin 在效率方面超过了 Mamba 和 Llama-2，在训练和推理阶段都具有更高的硬件效率，并且可以有效地进行分布式训练。
PDF4 months ago
AAAIHorovodRunner 启用的 Spark 集群上卷积神经网络和图卷积网络的基准测试
本文首次展示了 Databricks 的 HorovodRunner 在 GPU 和 CPU 集群上对基于卷积神经网络（CNN）的任务具有显著的扩展效率提升，但并没有在原始 GCN 任务上实现相同的效果。此外，我们还首次在 HorovodR
PDF4 years ago
MeshfreeFlowNet：一种物理约束的深度连续空时超分辨率框架
提出了一种基于深度学习的新型超分辨率框架 MeshfreeFlowNet，它可以在低分辨率下生成连续（无网格）的时空解，并可以采样真实的时空分辨率，以及在其完全卷积编码器的支持下对任意大小的时空域进行固定输入的训练，MeshfreeFlow
PDF4 years ago
分布式深度学习中 Top-k 稀疏化的理解
本文研究了基于 Top-k 稀疏化技术的分布式随机梯度下降算法在训练深度学习模型中的通信负载问题，通过实验和理论推导，提出了更为准确的 Top-k 算子收敛性分析方法，并开发了一种 GPU 上高效的 Top-k 选取算法，提高了 TopK-
PDF5 years ago
一种带有全局 Top-k 稀疏化的分布式同步 SGD 算法，用于低带宽网络
该论文提出一种基于全局 Top-k 稀疏化技术的分布式同步随机梯度下降 (S-SGD) 算法，该算法通过减少通信带宽来提高训练深度神经网络的效率，通过大量实验，验证了算法的收敛性能和泛化性能，实验结果表明该算法的可扩展性比 S-SGD 更高
PDF5 years ago