Jul, 2023

Rosko: 稀疏矩阵乘法核函数的行跳跃外积

TL;DRRosko提出了一种用于减少深度神经网络中计算和内存访问需求的稀疏矩阵乘法(SpMM)核,它允许在程序执行期间跳过整行计算,具有低稀疏管理开销。通过分析,我们有效地利用处理器核心来适应给定硬件特征的稀疏CPU核,并在不需要自动调整或搜索空间探索的情况下尽量减少数据移动。与现有的自动调整和基于搜索的解决方案以及最先进的供应商优化库相比,Rosko核在各种神经网络工作负载下对真实硬件的性能表现更好。对于在机器学习中通常出现的65%到99.8%的稀疏性矩阵,Rosko核在Intel和ARM CPU上可以实现高达6.5倍的运行时减少。