Apr, 2015

从 RNN 到 DNN 的知识转移

TL;DR本文研究嵌入式系统中小型深度神经网络的训练方法,提出了一种使用递归神经网络进行知识转移的方法,并通过 Kullback-Leibler 散度最小化来训练小型深度神经网络,结果显示相较于基线结果提高了 13% 的识别准确率。