Jan, 2022

深度循环神经网络的 LiteLSTM 架构

PDF
TL;DR该研究论文介绍了一种基于权重共享概念的新型 LiteLSTM 体系结构，通过减少 LSTM 的计算组件来降低整体架构成本和维护架构性能，从而提高学习大数据的效率，尤其适用于物联网设备和医学数据的安全性，同时有助于减少 CO2 排放。该模型在计算机视觉和网络安全领域的两个不同数据集上进行了实证评估和测试。
long short-term memorylitelstmneural networkbig datacomputational efficiency
发现论文，激发创造
  • 基于长短期记忆的循环神经网络结构用于大词汇语音识别

    本文介绍了一种基于 LSTM 的循环神经网络架构，用于训练大词汇量的语音识别声学模型，与传统的 RNN 和深度神经网络进行了比较。结果表明，LSTM 模型收敛速度快，对于相对较小的模型具有最先进的语音识别表现。

    Feb, 2014

  • 三种精简版 LSTM (长短时记忆网络) 层的性能

    本研究使用计算分析验证了标准 LSTM 和三种 SLIM LSTM 层性能的比较，发现其中某些 SLIM LSTM 层可以在卷积加循环神经网络架构中与标准 LSTM 层的表现相当。

    Jan, 2019

  • LSTM: 一次搜索空间的奥德赛

    本文针对典型 Long Short-Term Memory（LSTM）网络的各种计算组件的角色和实用性进行了大规模分析，并在三个代表性任务上比较了八种 LSTM 变体。结果表明，遗忘门和输出激活函数是 LSTM 架构最关键的组件。此外，在研究的超参数方面，我们发现它们几乎是独立的，并提出了调整它们的有效指导方针。

    Mar, 2015

  • 基于长短时记忆的深度循环神经网络构建及其在大词汇语音识别中的应用

    本研究针对多 GPU 设备下，探讨了基于深度 LSTM 的语音识别任务，通过构建深度循环神经网络来提升深层次模型效率，实验结果表明深度 LSTM 网络的性能优于浅层次模型。

    Oct, 2014

  • 连接 LSTM 结构与阅读过程中的神经动态

    本文研究了长短时记忆神经网络（LSTM）的认知合理性，并通过将其内部架构与读故事时观察到的脑活动进行对齐来验证其工作机制，实验结果表明 LSTM 人工记忆向量可以精确预测连续性的脑活动，揭示了 LSTM 架构和阅读故事的认知过程之间的相关性。

    Apr, 2016

  • 残差 LSTM: 远场语音识别深度循环神经网络的设计

    本研究提出了一种新的深度循环神经网络架构，残差 LSTM，该架构通过增加空间快捷路径来实现高效训练，与之前的工作相比表现更佳。

    Jan, 2017

  • 更广更深，更便宜更快：张量 LSTM 用于序列学习

    本文介绍了一种新的神经网络模型，即 Tensorized LSTM，它使用张量来表示隐藏状态，通过跨层卷积来更新这些状态。该模型在不增加额外参数的情况下，有效地扩展了网络的容量，并将深度计算合并为时序计算，从而提高了其性能。实验结果表明，该模型在多项挑战性的序列学习任务中表现出很大的潜力。

    Nov, 2017

  • 基于长短期记忆网络的时间序列预测深度学习

    本文介绍 LSTM 模型的结构和前向传播机制，提出了 Random Connectivity LSTM（RCLSTM）模型，并通过在电信网络交通预测和用户移动性中的应用证明了 RCLSTM 模型可实现相同的预测准确性，同时具有计算复杂度更低的优点

    Oct, 2018

  • 树状长短期记忆网络改进语义表征

    介绍了 Tree-LSTM，一种适用于树状网络的 LSTM 结构，该系统表现优秀，可以应用于两个任务：预测两个句子的语义相关性和情感分类。

    Feb, 2015

  • 学习紧凑循环神经网络

    本文介绍了一种利用低秩分解和参数共享技术来学习紧凑的循环神经网络（LSTM）的机制，探究了在不损失性能的情况下完善紧凑结构的可能性，并且发现在底层使用结构矩阵，在顶层使用共享低秩因子的混合策略特别有效，在 2000 小时英语语音搜索任务上将标准 LSTM 的参数减少了 75%，仅仅增加了 0.3% 的误差率。

    Apr, 2016