May, 2018

卷积神经网络压缩在自然语言处理中的应用

PDF
TL;DR本文提出了一种对情感分析中高效的卷积神经网络进行压缩的方法，该方法包含量化和修剪过程，并展示了将压缩后的网络映射到 FPGA 的方法及其实现结果，实验表明实现 5 位宽度即可达到与浮点数相近的精度且达到了较大的内存占用空间减少（从 85% 到 93%）。
convolutional neural networkssentiment analysisquantizationpruningfpga
发现论文，激发创造
  • 移动设备上的量化卷积神经网络

    该研究提出了一种名为量化卷积神经网络的模型，旨在通过量化卷积层中的滤波器核和全连接层中的权重矩阵，实现计算效率的提升和存储内存开销的降低，相对于非量化模型，该模型在 ILSVRC-12 基准测试中达到 4~6 倍的加速和 15~20 倍的压缩，仅有 1% 左右的分类准确率损失，并且甚至可以在移动设备上在一秒内精准分类照片。

    Dec, 2015

  • 压缩链：组合压缩卷积神经网络的系统方法

    卷积神经网络模型压缩是一项重要研究，通过量化、修剪和知识蒸馏等方法可以显著降低计算成本并保持准确性。

    Mar, 2024

  • 利用矢量量化压缩深度卷积网络

    本文探讨信息理论中的向量量化方法，用于压缩卷积神经网络中的参数，结果表明针对最消耗存储的稠密连接层使用向量量化方法比现有的矩阵分解方法更加高效，仅使用最先进的 CNN 模型在 ImageNet 挑战赛的 1000 分类任务中，即使损失 1% 的分类准确率，也能获得 16-24 倍的网络压缩优化。

    Dec, 2014

  • 深度压缩：剪枝、量化训练和霍夫曼编码压缩深度神经网络

    该论文介绍了一种名为 “深度压缩” 的技术，通过三阶段的网络压缩流程 —— 剪枝、量化和霍夫曼编码 —— 可以将神经网络模型的存储资源需求减小 35 到 49 倍，而同时不影响网络的准确性，该技术可以在嵌入式系统中使用，可以极大地提升模型的应用性能。

    Oct, 2015

  • 压缩卷积神经网络

    本文介绍了一种名为 FreshNets 的新型神经网络体系结构，它利用学习模型的卷积层和全连接层中的固有冗余性以实现内存和存储消耗的显着节省，同时在压缩性能方面优于现有基线模型。

    Jun, 2015

  • 卷积神经网络的先验压缩在波模拟器中的应用

    本文提出使用压缩张量格式的卷积层、使用单向滤波器替代卷积层的三向 / 二向滤波器等方式压缩卷积神经网络模型，减少参数数量，从而降低内存占用，在预测时间和训练时间上表现良好。同时，文章将此技术应用于预测有限元物理数据。

    Apr, 2023

  • 卷积神经网络结构压缩的分类与评估

    简介神经网络压缩，分类不同压缩方法，探讨张量分解和概率压缩等技术，研究证明 SVD 和概率压缩或修剪方法最优。

    Dec, 2019

  • 基于样本核心集的神经网络压缩

    通过 Coreset 滤波器表示法，我们提出了一种 CNN 压缩算法，不需重新训练，易于实现，在量化和 Huffman 编码的支持下，训练出的网络可以在提供 AlexNet 精度的同时，内存占用只有原始 AlexNet 的 832 分之一，同时还能显著减少推理时间。此外，经过 Fine-Tune 后，这些压缩网络也能成功推广到其他领域。

    Jul, 2018

  • And the Bit Goes Down: 重新审视神经网络量化

    本文提出一种矢量量化方法，以减小卷积神经网络架构的存储占用，能以较小的内存占用提供高精度的图像识别。

    Jul, 2019

  • 面向移动应用的快速低功耗深度卷积神经网络压缩

    提出了一种简单而有效的方案 —— 单次整个网络压缩，以在移动设备上部署深度卷积神经网络，并通过对各种压缩卷积神经网络在智能手机上的性能进行测试，证明了所提方案的有效性，可获得显著的模型尺寸、运行时间和能量消耗的降低，同时只付出了小量精度损失。

    Nov, 2015