ICLRSep, 2017

学习长短期记忆内在稀疏结构

PDF
TL;DR该论文提出了一种内在稀疏结构方法，通过独立地减小 LSTM 单元内基本结构的尺寸并保持尺寸一致性来实现结构上稀疏的 LSTM，这种方法可以显著提高模型的速度而不会损失模型性能，并成功地被应用于不同的 RNN 架构。
model compressionlstmintrinsic sparse structuresgroup lasso regularizationspeedup
发现论文，激发创造
  • 学习紧凑循环神经网络

    本文介绍了一种利用低秩分解和参数共享技术来学习紧凑的循环神经网络（LSTM）的机制，探究了在不损失性能的情况下完善紧凑结构的可能性，并且发现在底层使用结构矩阵，在顶层使用共享低秩因子的混合策略特别有效，在 2000 小时英语语音搜索任务上将标准 LSTM 的参数减少了 75%，仅仅增加了 0.3% 的误差率。

    Apr, 2016

  • 深度长短时记忆网络：稳定性质和实验验证

    探究使用增量输入状态稳定化深度循环神经网络来识别非线性动态系统，提出了可学习被证明为增量输入状态稳定化的 LSTM 模型训练方法，并在实际制动器系统的输入输出实验数据中进行测试，结果表明建立的模型性能良好。

    Apr, 2023

  • 树结构上的长短期记忆

    本文提出了一种基于树结构的长短时记忆网络模型 S-LSTM，用于实现文本语义组合和自然语言理解，比现有基于递归的模型效果更佳。

    Mar, 2015

  • 深度循环神经网络的 LiteLSTM 架构

    该研究论文介绍了一种基于权重共享概念的新型 LiteLSTM 体系结构，通过减少 LSTM 的计算组件来降低整体架构成本和维护架构性能，从而提高学习大数据的效率，尤其适用于物联网设备和医学数据的安全性，同时有助于减少 CO2 排放。该模型在计算机视觉和网络安全领域的两个不同数据集上进行了实证评估和测试。

    Jan, 2022

  • 可解释的结构演化 LSTM

    该论文提出了一种通过长短期记忆（LSTM）递归神经网络学习可解释数据表示的通用框架，该框架逐步随机地从数据中学习中间的可解释多层图结构，通过结构演化 LSTM 处理语义对象分析等应用，取得了明显的优势。

    Mar, 2017

  • 生长与精简的迷你，快速和准确的 LSTM

    本文提出一种 H-LSTM 模型，利用增长和修剪（GP）的方式通过梯度增长和基于大小的修剪来迭代调整隐藏层，从而使得模型在图像字幕和语音识别等应用中的表现更快、更精确、更紧凑。

    May, 2018

  • 使用长短期记忆网络的深度句子嵌入：分析和在信息检索中的应用

    本文提出了一种基于循环神经网络和长短时记忆单元的句子嵌入模型，该模型能够自动侦测句子中关键词和主题，从而进行网络文档检索等艰难的语言处理任务，并在性能上显著优于现有的先进方法。

    Feb, 2015

  • 探索用于语音合成的门控循环神经网络

    本研究旨在回答两个问题：a）为什么长短期记忆（LSTM）作为一种序列模型在 SPSS 中表现良好；b）哪个元素（例如，输入门，输出门，遗忘门）最重要。 通过一系列实验以及视觉分析，我们提出了一种简化的架构，比 LSTM 具有较少的参数，从而大大降低了生成一般的复杂性而不降低质量。

    Jan, 2016

  • RNN 架构需要多少复杂度才能学习依赖句法语义？

    本文介绍了一个新的神经网络架构 Decay RNN，它可以通过模拟神经元的抑制和兴奋连接，更好地学习长期依赖关系，相较于 LSTM 在语言任务上也表现十分出色，这为 RNN 成功建模语言现象所需的归纳偏差提供了一些线索。

    May, 2020

  • 子正则复杂度与深度学习

    本文通过对两种循环神经网络的实验研究，证明了正则正负推理算法是深度神经网络能否表示和学习时间序列中的长期依赖的可靠工具。此外，本文发现在同种实验中简单循环神经网络在最难的实验中表现出色，长短时记忆网络的表现总体上比简单循环神经网络差。

    May, 2017