Jul, 2020
SparseTrain: 利用数据流量稀疏性来实现高效的卷积神经网络训练
SparseTrain: Exploiting Dataflow Sparsity for Efficient Convolutional Neural Networks Training
Pengcheng Dai, Jianlei Yang, Xucheng Ye, Xingzhou Cheng, Junyu Luo...
TL;DR本文提出了 SparseTrain 来加速卷积神经网络的训练,该方法通过完全利用稀疏性,主要包括三个方面的创新:激活梯度剪枝算法、稀疏训练数据流和加速器架构。评估结果表明,与原始训练流程相比,SparseTrain 平均可实现约 2.7 倍的加速和 2.2 倍的能量效率提高。