CVPRDec, 2017

基于分块张量分解的简洁循环神经网络学习

PDF
TL;DR通过使用 Block-Term 张量分解方法，可以降低 RNNs 的参数数量从而提高其训练效率。
recurrent neural networksblock-term tensor decompositionaction recognitionimage captioningtraining efficiency
发现论文，激发创造
  • 块状张量神经网络

    本文提出了一种名为 BT-layers 的新的神经网络结构，使用低秩分块张量来近似权重矩阵，能够大幅缩小 DNN 的参数数量，同时保持或提高其表征能力。

    Oct, 2020

  • 使用张量环压缩循环神经网络以进行动作识别

    提出了利用低秩张量环分解重新构建输入到隐藏层变换的紧凑型 LSTM 模型 TR-LSTM，不仅在处理高维输入数据（如视频和文本）方面更具可扩展性和可训练性，而且其良好的稳定性和与其他最先进竞争对手相比的较高性能进一步表明了它在序列数据建模中的潜力。

    Nov, 2018

  • 使用分层 Tucker 张量分解压缩循环神经网络

    本研究提出使用分层 Tucker 分解压缩循环神经网络，提高了其表示能力且相比于 TT-LSTM、TR-LSTM、BT-LSTM 等现有压缩模型，在不同数据集上同时实现了压缩比和测试准确度的显著提升。

    May, 2020

  • 压缩循环神经网络的张量分解

    本文通过使用多种张量分解方法对门控循环单元 RNN 进行再参数化，旨在减少参数数量并保持表达能力，研究表明，在序列建模方面，Tensor Train 表现最佳。

    Feb, 2018

  • 使用张量列压缩循环神经网络

    本文提出了使用 Tensor Train 格式来表示循环神经网络参数，从而显著降低参数数量的替代型循环神经网络，对比未压缩的循环神经网络在序列分类和序列预测中的表现，结果显示其性能不降反升，同时减小了 40 倍的参数数量。

    May, 2017

  • 针对视频识别的极端紧凑型 RNN，使用完全分解的分层 Tucker 结构

    本文提出了一种具有全分解层级 Tucker 结构的极度紧凑的 RNN 模型，该模型不仅提供了比其他张量分解方法更高的存储成本降低幅度，而且为整个 RNN 模型的综合压缩提供了可能，且在多个视频识别数据集上进行的实验结果表明，该模型具有高度准确性和极高的效率。

    Apr, 2021

  • 用 Tensor Train 递归神经网络进行视频分类

    通过使用 Tensor-Train 分解来分解 RNN 中的高维输入矩阵，尽管架构比其他模型简单得多，但在分类实验中仍能够实现与最先进的模型相媲美的性能，这为建模高维序列数据提供了一种新的基础模块，并打开了从其他领域（如自然语言处理）传输表达和先进模型的多种可能性。

    Jul, 2017

  • 学习紧凑循环神经网络

    本文介绍了一种利用低秩分解和参数共享技术来学习紧凑的循环神经网络（LSTM）的机制，探究了在不损失性能的情况下完善紧凑结构的可能性，并且发现在底层使用结构矩阵，在顶层使用共享低秩因子的混合策略特别有效，在 2000 小时英语语音搜索任务上将标准 LSTM 的参数减少了 75%，仅仅增加了 0.3% 的误差率。

    Apr, 2016

  • 神经网络模型简化的张量分解：一篇综述

    该研究论文综述了六种张量分解方法及其在神经网络中的应用，说明使用这些方法可以明显地减少模型的大小，运行时间和能耗，在边缘设备上实现神经网络时效果显著。

    Apr, 2023

  • 语言建模的神经网络压缩

    本文研究了针对基于循环神经网络的语言建模问题的几种压缩技术。通过使用 Penn Treebank（PTB）数据集，我们比较了 LSTM 网络的剪枝、量化、低秩分解、张量列车分解对模型大小和适用于快速推理的适合性，并发现传统的 LSTM 网络要么拥有高空间复杂度，要么具有相当大的推理时间；这个问题对于移动应用程序尤其关键，因为不适用于与远程服务器进行不断的交互。

    Aug, 2017