ICMLJun, 2024

基于张量分解的二阶循环神经网络视角

PDF
TL;DR通过对第二阶递归神经网络的参数化使用 CP 分解得到的模型 CPRNN 进行研究，我们分析了分解的秩和隐藏层大小如何影响模型的容量，并根据这些参数展示了循环神经网络、二阶递归神经网络、限制型二阶递归神经网络和 CPRNN 之间的关系。我们通过对 Penn Treebank 数据集进行实验证明，在固定参数预算的情况下，通过正确选择秩和隐藏层大小，CPRNN 的表现优于 RNNs、2RNNs 和 MIRNNs。
second-order recurrent neural networks2rnnssequence modellingcp decompositionmodel capacity
发现论文，激发创造
  • 压缩循环神经网络的张量分解

    本文通过使用多种张量分解方法对门控循环单元 RNN 进行再参数化，旨在减少参数数量并保持表达能力，研究表明，在序列建模方面，Tensor Train 表现最佳。

    Feb, 2018

  • 基于分块张量分解的简洁循环神经网络学习

    通过使用 Block-Term 张量分解方法，可以降低 RNNs 的参数数量从而提高其训练效率。

    Dec, 2017

  • 使用分层 Tucker 张量分解压缩循环神经网络

    本研究提出使用分层 Tucker 分解压缩循环神经网络，提高了其表示能力且相比于 TT-LSTM、TR-LSTM、BT-LSTM 等现有压缩模型，在不同数据集上同时实现了压缩比和测试准确度的显著提升。

    May, 2020

  • 神经网络模型简化的张量分解：一篇综述

    该研究论文综述了六种张量分解方法及其在神经网络中的应用，说明使用这些方法可以明显地减少模型的大小，运行时间和能耗，在边缘设备上实现神经网络时效果显著。

    Apr, 2023

  • 关于二阶递归神经网络的计算复杂性和形式层次的研究

    这项研究通过扩展第二阶循环神经网络的理论基础，证明存在一类有界时间的第二阶循环神经网络，具备图灵完备性，可以直接将转移表编码到其循环权重中，实现有界时间计算，并通过设计可解释。同时，该研究还展示了在有界权重和时间约束下，没有记忆的第二阶循环神经网络在识别正则语法方面优于传统的循环神经网络和门控循环单元等现代模型，并提供了识别任何一类正则语法所需的最大神经元数量的上界和稳定性分析。大量关于 Tomita 语法的实验证实了研究结果，并展示了采用第二阶循环神经网络进行解释和提取状态机时的成功率较一阶循环神经网络更高。这些结果拓展了循环神经网络的理论基础，并为未来可解释人工智能的研究提供了有希望的方向。

    Sep, 2023

  • 学习紧凑循环神经网络

    本文介绍了一种利用低秩分解和参数共享技术来学习紧凑的循环神经网络（LSTM）的机制，探究了在不损失性能的情况下完善紧凑结构的可能性，并且发现在底层使用结构矩阵，在顶层使用共享低秩因子的混合策略特别有效，在 2000 小时英语语音搜索任务上将标准 LSTM 的参数减少了 75%，仅仅增加了 0.3% 的误差率。

    Apr, 2016

  • 使用张量列压缩循环神经网络

    本文提出了使用 Tensor Train 格式来表示循环神经网络参数，从而显著降低参数数量的替代型循环神经网络，对比未压缩的循环神经网络在序列分类和序列预测中的表现，结果显示其性能不降反升，同时减小了 40 倍的参数数量。

    May, 2017

  • 循环神经网络隐含地实现张量积表示

    使用 Tensor Product Decomposition Networks（TPDNs）来近似现有向量表示，证明 RNNs 可以通过 Tensor Product Representations（TPRs）引导序列表示。

    Dec, 2018

  • 张量网络的降维和大规模优化。第 2 部分：应用和未来展望

    本文介绍了张量网络及其运算的简介并侧重于介绍用于数据 / 参数的超压缩高阶表示的张量网络模型及其应用， 包括支持张量机、求广义特征值、深度神经网络等优化问题的张量分解方法，如张量列车和分层 Tuck 分解，并通过图形方法以及基于核张量的低秩张量近似来解释张量网络是如何能够在大量数据上执行分布式计算的。

    Aug, 2017

  • 使用张量环压缩循环神经网络以进行动作识别

    提出了利用低秩张量环分解重新构建输入到隐藏层变换的紧凑型 LSTM 模型 TR-LSTM，不仅在处理高维输入数据（如视频和文本）方面更具可扩展性和可训练性，而且其良好的稳定性和与其他最先进竞争对手相比的较高性能进一步表明了它在序列数据建模中的潜力。

    Nov, 2018