May, 2017

用最大池化损失训练长短时记忆网络实现小尺寸关键词定位

TL;DR提出了一种基于最大池化的损失函数来训练CPU、内存和延迟需求较低的小型基于关键词识别(KWS)的长短时记忆网络(LSTM)模型。研究结果表明,与交叉熵损失训练的前馈深度神经网络相比,通过使用交叉熵或最大池化损失训练的LSTM模型的性能更好。此外,最大池化损失训练的LSTM模型表现也优于交叉熵损失训练的LSTM模型,初始化为交叉熵预训练网络的最大池化损失训练的LSTM则表现最佳,其在面积下的曲线(AUC)测量方面的性能相对于前馈深度神经网络减少了67.6%。