AAAIDec, 2023
利用对称的时间稀疏 BPTT 提高 RNN 训练效率
Exploiting Symmetric Temporally Sparse BPTT for Efficient RNN Training
Xi Chen, Chang Gao, Zuowen Wang, Longbiao Cheng, Sheng Zhou...
TL;DRDelta RNN 利用时间稀疏性在推理过程中跳过被禁用神经元的隐藏状态更新,其训练算法在反向传播阶段利用时间稀疏性来减少边缘计算的计算要求。