Aug, 2015

LSTM 网络基准测试

PDF
TL;DR该技术报告描述了使用 MNIST 和 UW3 数据库对 LSTM 网络进行基准测试的结果，并探讨了不同架构和超参数选择对性能的影响。该研究表明：（1）LSTM 性能平滑地取决于学习率，（2）批处理和动量对性能没有显着影响，（3）softmax 训练优于最小二乘训练，（4）孔径单元无用，（5）标准非线性函数（tanh 和 sigmoid）性能最佳，（6）将双向训练与 CTC 相结合比其他方法表现更好。
发现论文，激发创造
  • 可视化和理解循环网络

    使用字符级语言模型作为可解释的测试平台，本研究分析了 LSTM 的表示、预测和错误类型，并揭示了其提高性能的长程结构依赖性的来源。

    Jun, 2015

  • LSTM: 一次搜索空间的奥德赛

    本文针对典型 Long Short-Term Memory（LSTM）网络的各种计算组件的角色和实用性进行了大规模分析，并在三个代表性任务上比较了八种 LSTM 变体。结果表明，遗忘门和输出激活函数是 LSTM 架构最关键的组件。此外，在研究的超参数方面，我们发现它们几乎是独立的，并提出了调整它们的有效指导方针。

    Mar, 2015

  • 学习执行

    在进行短程序评估方面，实验评估了 LSTM 在序列到序列范式中的表现和可学习性，并使用课程学习来提高网络性能，结果表明 LSTM 可以以 99% 的准确率训练生成能够计算两个 9 位数字加法的模型。

    Oct, 2014

  • 基于长短期记忆的循环神经网络结构用于大词汇语音识别

    本文介绍了一种基于 LSTM 的循环神经网络架构，用于训练大词汇量的语音识别声学模型，与传统的 RNN 和深度神经网络进行了比较。结果表明，LSTM 模型收敛速度快，对于相对较小的模型具有最先进的语音识别表现。

    Feb, 2014

  • 三种精简版 LSTM (长短时记忆网络) 层的性能

    本研究使用计算分析验证了标准 LSTM 和三种 SLIM LSTM 层性能的比较，发现其中某些 SLIM LSTM 层可以在卷积加循环神经网络架构中与标准 LSTM 层的表现相当。

    Jan, 2019

  • 循环神经网络和长短时记忆网络：教程和调研

    本研究论文介绍了递归神经网络 (RNN)、 长短期记忆网络 (LSTM) 及其变体，在训练过程中解决长序列中的梯度消失 / 爆炸问题，并详细介绍了 LSTM 中的门控单元，双向 RNN 及 Embeddings from Language Model (ELMo) network 的原理。

    Apr, 2023

  • 比较 LSTM 和双向 LSTM 深度神经网络在电力消耗预测中的应用

    比较了两种深度学习模型 —— 长短期记忆网络（LSTM）和双向 LSTM（BLSTM）在电力消耗时间序列（TS）短期预测方面的效果，利用不同背景和规模的四个数据集，其中 BLSTM 表现优于 LSTM。

    May, 2023

  • 深度循环神经网络的 LiteLSTM 架构

    该研究论文介绍了一种基于权重共享概念的新型 LiteLSTM 体系结构，通过减少 LSTM 的计算组件来降低整体架构成本和维护架构性能，从而提高学习大数据的效率，尤其适用于物联网设备和医学数据的安全性，同时有助于减少 CO2 排放。该模型在计算机视觉和网络安全领域的两个不同数据集上进行了实证评估和测试。

    Jan, 2022

  • 连接 LSTM 结构与阅读过程中的神经动态

    本文研究了长短时记忆神经网络（LSTM）的认知合理性，并通过将其内部架构与读故事时观察到的脑活动进行对齐来验证其工作机制，实验结果表明 LSTM 人工记忆向量可以精确预测连续性的脑活动，揭示了 LSTM 架构和阅读故事的认知过程之间的相关性。

    Apr, 2016

  • 语音识别声学建模深度双向 LSTM RNN 的全面研究

    本研究对基于双向长短时记忆（LSTM）循环神经网络（RNN）的自动语音识别（ASR）进行了全面的研究，探索了深度、大小、优化方法等不同因素的影响，并通过实验分析在 Quaero 语料库上实现了提高词错误率的效果，并比较了不同的培训计算时间。

    Jun, 2016