Jan, 2017

深度神经网络在图像实例检索中的压缩

PDF
TL;DR本文主要研究如何通过量化、编码、剪枝和权值共享等技术减小深度神经网络模型的规模，以解决基于卷积神经网络的全局图像描述符在图像实例检索任务上面临的储存问题，研究结果表明，最小化模型大小能够在不影响检索结果的情况下减小两个数量级的规模。
image instance retrievalconvolutional neural networkglobal image descriptorsneural network model compressionmodel size reduction
发现论文，激发创造
  • 利用矢量量化压缩深度卷积网络

    本文探讨信息理论中的向量量化方法，用于压缩卷积神经网络中的参数，结果表明针对最消耗存储的稠密连接层使用向量量化方法比现有的矩阵分解方法更加高效，仅使用最先进的 CNN 模型在 ImageNet 挑战赛的 1000 分类任务中，即使损失 1% 的分类准确率，也能获得 16-24 倍的网络压缩优化。

    Dec, 2014

  • 深度卷积神经网络的视觉实例检索

    本文研究使用卷积网络所提供的图像表示在视觉实例检索任务中的可用性，并通过利用多尺度图像特征提取方案，特别地，通过将几何不变性纳入到明确的位置、尺度和空间一致性中的方法来提取来自于该网络的局部特征，实验结果表明，如果对其进行适当提取，那么通用卷积网络图像表示法可优于其他先进方法。

    Dec, 2014

  • 通过两阶段深度强化学习进行深度模型压缩

    本文主要探讨了一种基于强化学习技术的卷积神经网络模型压缩方法，该方法实现了两阶段压缩：剪枝和量化，并在 CIFAR-10 和 ImageNet 数据集进行了实验，结果表明该方法能够在减小模型大小的同时保证分类精度。

    Dec, 2019

  • 使用深度卷积网络的语义感知图像压缩

    应用深度学习的方法解决在损失图像和视频压缩中提高视觉质量的问题，通过训练一个特定的卷积神经网络，实现对图像语义的理解，并通过对每个对象训练特征的方式生成高质量的压缩图像。

    Dec, 2016

  • 深度压缩：剪枝、量化训练和霍夫曼编码压缩深度神经网络

    该论文介绍了一种名为 “深度压缩” 的技术，通过三阶段的网络压缩流程 —— 剪枝、量化和霍夫曼编码 —— 可以将神经网络模型的存储资源需求减小 35 到 49 倍，而同时不影响网络的准确性，该技术可以在嵌入式系统中使用，可以极大地提升模型的应用性能。

    Oct, 2015

  • 深度神经网络在线压缩

    本文介绍了一种新的深度神经网络压缩方法，在学习阶段增加额外的正则化项来减小全连接层的参数量，并结合 PQ 权重的量化以更节约存储空间。在 MNIST 和 CIFAR10 数据集上进行评估，与现有方法相比，压缩率显著提高。

    Sep, 2015

  • 面向移动应用的快速低功耗深度卷积神经网络压缩

    提出了一种简单而有效的方案 —— 单次整个网络压缩，以在移动设备上部署深度卷积神经网络，并通过对各种压缩卷积神经网络在智能手机上的性能进行测试，证明了所提方案的有效性，可获得显著的模型尺寸、运行时间和能量消耗的降低，同时只付出了小量精度损失。

    Nov, 2015

  • 深度神经网络模型压缩与加速综述

    本文对深度神经网络模型压缩和加速的最新技术进行了回顾，介绍了参数修剪、量化、转移 / 紧凑卷积滤镜和知识蒸馏等四类技术及其表现、应用、优点和缺点，同时探讨了评估矩阵、评估模型表现所使用的主要数据集和最近的基准努力，并讨论了面临的挑战和未来方向。

    Oct, 2017

  • 深度神经网络压缩调研：挑战，概述和解决方案

    该论文综述深度神经网络在物联网应用中的压缩技术，并将现有方法划分为五个类别，包括网络修剪、稀疏表现、位精度、知识蒸馏和杂项，并探讨每个类别的挑战和未来方向。

    Oct, 2020

  • 基于样本核心集的神经网络压缩

    通过 Coreset 滤波器表示法，我们提出了一种 CNN 压缩算法，不需重新训练，易于实现，在量化和 Huffman 编码的支持下，训练出的网络可以在提供 AlexNet 精度的同时，内存占用只有原始 AlexNet 的 832 分之一，同时还能显著减少推理时间。此外，经过 Fine-Tune 后，这些压缩网络也能成功推广到其他领域。

    Jul, 2018