IJCAIJun, 2018

动态层级革命：在移动设备上压缩循环神经网络的 DirNet

PDF
TL;DR使用一种基于优化快速字典学习算法的新型模型压缩方法 DirNet，来保证在资源受限的移动设备上实现高压缩率时的最小准确性损失。通过在神经网络的不同层级上动态挖掘字典原子并调整压缩率，并且自适应地改变稀疏编码的稀疏性，该方法在语言模型和 ASR 模型上进行实验，结果表明它比之前的方法显著优越。在现有移动设备上进行评估，我们能够将原始模型的大小缩小八倍，并实现实时模型推理，同时几乎没有准确性损失。
recurrent neural networksmodel compressionresource constrained mobile devicesfast dictionary learningreal-time model inference
发现论文，激发创造
  • 基于压缩的循环神经网络用于高效语言建模

    本文考虑了针对循环神经网络的多种压缩技术，特别关注大词汇量带来的高维输出问题，探讨剪枝、量化和矩阵分解在语言模型中的有效压缩方法，以及大小、适用性和困惑度的取舍，最终提出一种压缩循环神经网络的通用流程，并使用 Penn Treebank 数据集展示了矩阵分解技术在速度和压缩 - 困惑度平衡方面的最佳结果。

    Feb, 2019

  • 学习紧凑循环神经网络

    本文介绍了一种利用低秩分解和参数共享技术来学习紧凑的循环神经网络（LSTM）的机制，探究了在不损失性能的情况下完善紧凑结构的可能性，并且发现在底层使用结构矩阵，在顶层使用共享低秩因子的混合策略特别有效，在 2000 小时英语语音搜索任务上将标准 LSTM 的参数减少了 75%，仅仅增加了 0.3% 的误差率。

    Apr, 2016

  • 语言建模的神经网络压缩

    本文研究了针对基于循环神经网络的语言建模问题的几种压缩技术。通过使用 Penn Treebank（PTB）数据集，我们比较了 LSTM 网络的剪枝、量化、低秩分解、张量列车分解对模型大小和适用于快速推理的适合性，并发现传统的 LSTM 网络要么拥有高空间复杂度，要么具有相当大的推理时间；这个问题对于移动应用程序尤其关键，因为不适用于与远程服务器进行不断的交互。

    Aug, 2017

  • 循环神经网络压缩及其在嵌入式语音识别 LVCSR 声学建模中的应用

    本研究旨在实现恰当地压缩循环神经网络的目的，并提出了一种同时压缩循环和非循环层权重矩阵的通用压缩技术。通过这种方法，将 LSTM 声学模型减小到原来的三分之一，同时保持准确性可接受。

    Mar, 2016

  • 使用 Kronecker 乘积将 RNN 压缩 15-38 倍，用于 IoT 设备

    本文介绍了一种使用 Kronecker 乘积（KP）的方法来压缩适用于资源受限环境中的循环神经网络（RNN），KP 可以使 RNN 层的压缩率达到 15-38x，并且通过将其量化为 8 位可以进一步提高压缩因子至 50 倍，同时提高推断运行时间和任务准确度。作者提出了一种混合 KP（HKP）算法来解决由于压缩导致的准确度损失问题，并且可以通过添加少量的模型参数来控制压缩比，从而提高模型准确度。

    Jun, 2019

  • 透過递归神经网络实施全解析度图像压缩

    通过神经网络构建一套高效率图像压缩方法，新架构由编码器、解码器、二值化器和熵编码神经网络组成，可变压缩比率，能在感知度量上对 JPEG 进行改善，并取得了最好的表现。

    Aug, 2016

  • 使用哈希技巧压缩神经网络

    本研究提出了 HashedNets 这一新型网络结构，在使用深度学习技术进行移动设备应用时，可以通过哈希函数来分组并共享连接权重参数，进而大幅缩小神经网络所需的存储空间，而不会明显影响其泛化性能。

    Apr, 2015

  • AdaDeep: 一种面向应用的、自动化的深度模型压缩框架，以实现普适智能移动

    AdaDeep 是一种自适应深度神经网络压缩框架，可在考虑性能和资源约束方面自动选择最合适的压缩技术和相应的压缩超参数，可以在减少 DNN 的延迟、提高能效和减少存储的同时保持准确率基本不变。

    Jun, 2020

  • 面向移动应用的快速低功耗深度卷积神经网络压缩

    提出了一种简单而有效的方案 —— 单次整个网络压缩，以在移动设备上部署深度卷积神经网络，并通过对各种压缩卷积神经网络在智能手机上的性能进行测试，证明了所提方案的有效性，可获得显著的模型尺寸、运行时间和能量消耗的降低，同时只付出了小量精度损失。

    Nov, 2015

  • 模型压缩的结构化多哈希技术

    本文介绍了一种基于哈希和降维的结构化多哈希方法，可用于控制任何深度网络的模型大小，从而大幅减少可学习变量且依旧保持较高的精度。作者在 ResNet，EfficientNet 和 MobileNet 等结构中进行了压缩，并且在 CIFAR10 数据集上仅损失 10％而使 ResNet32 模型减少了 75％。

    Nov, 2019