压缩循环神经网络的张量分解

Feb, 2018

Tensor Decomposition for Compressing Recurrent Neural Network

Andros Tjandra, Sakriani Sakti, Satoshi Nakamura

TL;DR本文通过使用多种张量分解方法对门控循环单元 RNN 进行再参数化，旨在减少参数数量并保持表达能力，研究表明，在序列建模方面，Tensor Train 表现最佳。

Abstract

In the machine learning fields, recurrent neural network (RNN) has become a popular architecture for sequential data modeling. However, behind the impressive performance, RNNs require a large number of parameters for both training and inference. In this paper, we are trying to reduce t

recurrent neural network tensor decompositions gated recurrent unit sequence modeling tensor train

发现论文，激发创造

使用张量列压缩循环神经网络

本文提出了使用 Tensor Train 格式来表示循环神经网络参数，从而显著降低参数数量的替代型循环神经网络，对比未压缩的循环神经网络在序列分类和序列预测中的表现，结果显示其性能不降反升，同时减小了 40 倍的参数数量。

May, 2017

神经网络模型简化的张量分解：一篇综述

该研究论文综述了六种张量分解方法及其在神经网络中的应用，说明使用这些方法可以明显地减少模型的大小，运行时间和能耗，在边缘设备上实现神经网络时效果显著。

Apr, 2023

使用分层 Tucker 张量分解压缩循环神经网络

本研究提出使用分层 Tucker 分解压缩循环神经网络，提高了其表示能力且相比于 TT-LSTM、TR-LSTM、BT-LSTM 等现有压缩模型，在不同数据集上同时实现了压缩比和测试准确度的显著提升。

May, 2020

基于张量分解的二阶循环神经网络视角

通过对第二阶递归神经网络的参数化使用 CP 分解得到的模型 CPRNN 进行研究，我们分析了分解的秩和隐藏层大小如何影响模型的容量，并根据这些参数展示了循环神经网络、二阶递归神经网络、限制型二阶递归神经网络和 CPRNN 之间的关系。我们通过对 Penn Treebank 数据集进行实验证明，在固定参数预算的情况下，通过正确选择秩和隐藏层大小，CPRNN 的表现优于 RNNs、2RNNs 和 MIRNNs。

Jun, 2024

基于分块张量分解的简洁循环神经网络学习

通过使用 Block-Term 张量分解方法，可以降低 RNNs 的参数数量从而提高其训练效率。

Dec, 2017

使用张量环压缩循环神经网络以进行动作识别

提出了利用低秩张量环分解重新构建输入到隐藏层变换的紧凑型 LSTM 模型 TR-LSTM，不仅在处理高维输入数据（如视频和文本）方面更具可扩展性和可训练性，而且其良好的稳定性和与其他最先进竞争对手相比的较高性能进一步表明了它在序列数据建模中的潜力。

Nov, 2018

针对视频识别的极端紧凑型 RNN，使用完全分解的分层 Tucker 结构

本文提出了一种具有全分解层级 Tucker 结构的极度紧凑的 RNN 模型，该模型不仅提供了比其他张量分解方法更高的存储成本降低幅度，而且为整个 RNN 模型的综合压缩提供了可能，且在多个视频识别数据集上进行的实验结果表明，该模型具有高度准确性和极高的效率。

Apr, 2021

基于张量分解的 DNN 模型压缩及优化框架

本文提出一种基于张量分解的模型压缩系统，采用交替方向乘子法进行优化求解。该系统适用于卷积神经网络和循环神经网络，可大幅降低计算量和参数量，并保持较高的准确性。

Jul, 2021

用 Tensor Train 递归神经网络进行视频分类

通过使用 Tensor-Train 分解来分解 RNN 中的高维输入矩阵，尽管架构比其他模型简单得多，但在分类实验中仍能够实现与最先进的模型相媲美的性能，这为建模高维序列数据提供了一种新的基础模块，并打开了从其他领域（如自然语言处理）传输表达和先进模型的多种可能性。

Jul, 2017

张量环分解

本文介绍了一种基本的张量分解模型：张量环分解，它能够通过一系列低维张量核的圆形多线性乘积来代表高维张量，并能够实现循环维度置换不变性，同时与 TT 分解具有相似的广泛表示能力。文章通过四种不同的算法对潜在核的优化进行了讨论，并探究了 TR 模型的数学性质。最后，在综合数据集上的实验验证了不同算法的性能。

Jun, 2016