Dec, 2019

卷积神经网络结构压缩的分类与评估

PDF
TL;DR简介神经网络压缩，分类不同压缩方法，探讨张量分解和概率压缩等技术，研究证明 SVD 和概率压缩或修剪方法最优。
发现论文，激发创造
  • 深度神经网络压缩调研：挑战，概述和解决方案

    该论文综述深度神经网络在物联网应用中的压缩技术，并将现有方法划分为五个类别，包括网络修剪、稀疏表现、位精度、知识蒸馏和杂项，并探讨每个类别的挑战和未来方向。

    Oct, 2020

  • 神经数据压缩简介

    本文介绍了神经压缩的概念及其在数据压缩领域中的应用，首次完整回顾了信息论和计算机视觉的背景知识，并提供了一个文献综述，总结了目前领域内的主要意见和方法。

    Feb, 2022

  • 计算机视觉压缩技术分析

    该研究探讨了在计算机视觉领域中压缩深度网络的三种基本技术，包括知识蒸馏，修剪和量化，以及将它们串联起来的有效方法，并使用 MNIST 和 CIFAR-10 数据集对它们进行了分析。

    May, 2023

  • 深度神经网络模型压缩与加速综述

    本文对深度神经网络模型压缩和加速的最新技术进行了回顾，介绍了参数修剪、量化、转移 / 紧凑卷积滤镜和知识蒸馏等四类技术及其表现、应用、优点和缺点，同时探讨了评估矩阵、评估模型表现所使用的主要数据集和最近的基准努力，并讨论了面临的挑战和未来方向。

    Oct, 2017

  • 面向移动应用的快速低功耗深度卷积神经网络压缩

    提出了一种简单而有效的方案 —— 单次整个网络压缩，以在移动设备上部署深度卷积神经网络，并通过对各种压缩卷积神经网络在智能手机上的性能进行测试，证明了所提方案的有效性，可获得显著的模型尺寸、运行时间和能量消耗的降低，同时只付出了小量精度损失。

    Nov, 2015

  • 压缩链：组合压缩卷积神经网络的系统方法

    卷积神经网络模型压缩是一项重要研究，通过量化、修剪和知识蒸馏等方法可以显著降低计算成本并保持准确性。

    Mar, 2024

  • Transformer 压缩综述

    在该研究中，作者通过综述了解压缩方法对 Transformer 模型在自然语言处理和计算机视觉领域的应用，并对修剪、量化等压缩方法进行了分类和讨论。

    Feb, 2024

  • 深度压缩：剪枝、量化训练和霍夫曼编码压缩深度神经网络

    该论文介绍了一种名为 “深度压缩” 的技术，通过三阶段的网络压缩流程 —— 剪枝、量化和霍夫曼编码 —— 可以将神经网络模型的存储资源需求减小 35 到 49 倍，而同时不影响网络的准确性，该技术可以在嵌入式系统中使用，可以极大地提升模型的应用性能。

    Oct, 2015

  • 使用 PCA 的低投入结构化 CNN 设计方法

    该研究论文提出了一种基于 PCA 的单次分析方式，可在不进行迭代重新训练的情况下，优化计算机视觉中的深度学习模型，包括 AlexNet，VGG 和 MobileNet，减少计算操作次数和参数数量。

    Dec, 2018

  • 卷积神经网络的结构压缩

    本文介绍了一种基于剪枝策略的 CNN 结构压缩方法 CAR。CAR 通过去除对分类精度影响最小的滤波器实现了近似原始分类精度的同时，保留了原始网络中有代表性的滤波器。压缩后的网络更容易理解，因为具有更少的滤波器数目。此外，作者还提出了一种变种算法来量化每个图像类别对每个 CNN 滤波器的重要性，最和次重要的分类标签被证明是每个滤波器的有意义的解释。

    May, 2017