LSTM: 一次搜索空间的奥德赛
本文介绍了一种基于 LSTM 的循环神经网络架构,用于训练大词汇量的语音识别声学模型,与传统的 RNN 和深度神经网络进行了比较。结果表明,LSTM 模型收敛速度快,对于相对较小的模型具有最先进的语音识别表现。
Feb, 2014
本研究使用计算分析验证了标准 LSTM 和三种 SLIM LSTM 层性能的比较,发现其中某些 SLIM LSTM 层可以在卷积加循环神经网络架构中与标准 LSTM 层的表现相当。
Jan, 2019
该研究论文介绍了一种基于权重共享概念的新型 LiteLSTM 体系结构,通过减少 LSTM 的计算组件来降低整体架构成本和维护架构性能,从而提高学习大数据的效率,尤其适用于物联网设备和医学数据的安全性,同时有助于减少 CO2 排放。该模型在计算机视觉和网络安全领域的两个不同数据集上进行了实证评估和测试。
Jan, 2022
该技术报告描述了使用 MNIST 和 UW3 数据库对 LSTM 网络进行基准测试的结果,并探讨了不同架构和超参数选择对性能的影响。该研究表明:(1)LSTM 性能平滑地取决于学习率,(2)批处理和动量对性能没有显着影响,(3)softmax 训练优于最小二乘训练,(4)孔径单元无用,(5)标准非线性函数(tanh 和 sigmoid)性能最佳,(6)将双向训练与 CTC 相结合比其他方法表现更好。
Aug, 2015
本研究针对多 GPU 设备下,探讨了基于深度 LSTM 的语音识别任务,通过构建深度循环神经网络来提升深层次模型效率,实验结果表明深度 LSTM 网络的性能优于浅层次模型。
Oct, 2014
本研究对基于双向长短时记忆(LSTM)循环神经网络(RNN)的自动语音识别(ASR)进行了全面的研究,探索了深度、大小、优化方法等不同因素的影响,并通过实验分析在 Quaero 语料库上实现了提高词错误率的效果,并比较了不同的培训计算时间。
Jun, 2016
本研究旨在回答两个问题:a)为什么长短期记忆(LSTM)作为一种序列模型在 SPSS 中表现良好;b)哪个元素(例如,输入门,输出门,遗忘门)最重要。 通过一系列实验以及视觉分析,我们提出了一种简化的架构,比 LSTM 具有较少的参数,从而大大降低了生成一般的复杂性而不降低质量。
Jan, 2016
本研究论文介绍了递归神经网络 (RNN)、 长短期记忆网络 (LSTM) 及其变体,在训练过程中解决长序列中的梯度消失 / 爆炸问题,并详细介绍了 LSTM 中的门控单元,双向 RNN 及 Embeddings from Language Model (ELMo) network 的原理。
Apr, 2023
本文介绍了一种利用低秩分解和参数共享技术来学习紧凑的循环神经网络(LSTM)的机制,探究了在不损失性能的情况下完善紧凑结构的可能性,并且发现在底层使用结构矩阵,在顶层使用共享低秩因子的混合策略特别有效,在 2000 小时英语语音搜索任务上将标准 LSTM 的参数减少了 75%,仅仅增加了 0.3% 的误差率。
Apr, 2016