自压缩神经网络

Jan, 2023

Self-Compressing Neural Networks

Szabolcs Cséfalvay, James Imber

TL;DR本文介绍了一种称为 Self-Compression 的方法，可以移除神经网络中的冗余参数和减少表示权重所需的位数，从而简化网络结构，提高训练和推断效率。作者通过实验证明，使用 Self-Compression 方法可以在只保留网络中 18% 的权重和仅需 3% 的位数的条件下，还能实现浮点数的准确性。

Abstract

This work focuses on reducing neural network size, which is a major driver of neural network execution time, power consumption, bandwidth, and memory footprint. A key challenge is to reduce size in a manner that can be exploited readily for efficient training and inference without the

neural network size self-compression redundant weights network training network inference

发现论文，激发创造

深度压缩：剪枝、量化训练和霍夫曼编码压缩深度神经网络

该论文介绍了一种名为 “深度压缩” 的技术，通过三阶段的网络压缩流程 —— 剪枝、量化和霍夫曼编码 —— 可以将神经网络模型的存储资源需求减小 35 到 49 倍，而同时不影响网络的准确性，该技术可以在嵌入式系统中使用，可以极大地提升模型的应用性能。

Oct, 2015

改进的贝叶斯压缩

本文提出了结合软权重共享和变分 dropout 方法的神经网络模型压缩新方法，达到了工业规模使用的标准。

Nov, 2017

可编程的神经网络压缩方法

本文介绍了一种名为 Condensa 的可编程模型压缩系统，可以通过程序化组合简单的操作符来构建更复杂和实际的压缩策略，并使用贝叶斯优化算法自动推断最佳稀疏度，实验结果表明，该系统可以在保持较高准确率的前提下，将存储占用和运行时间分别提高 188 倍和 2.59 倍。

Nov, 2019

基于样本核心集的神经网络压缩

通过 Coreset 滤波器表示法，我们提出了一种 CNN 压缩算法，不需重新训练，易于实现，在量化和 Huffman 编码的支持下，训练出的网络可以在提供 AlexNet 精度的同时，内存占用只有原始 AlexNet 的 832 分之一，同时还能显著减少推理时间。此外，经过 Fine-Tune 后，这些压缩网络也能成功推广到其他领域。

Jul, 2018

深度神经网络在线压缩

本文介绍了一种新的深度神经网络压缩方法，在学习阶段增加额外的正则化项来减小全连接层的参数量，并结合 PQ 权重的量化以更节约存储空间。在 MNIST 和 CIFAR10 数据集上进行评估，与现有方法相比，压缩率显著提高。

Sep, 2015

深度神经网络压缩调研：挑战，概述和解决方案

该论文综述深度神经网络在物联网应用中的压缩技术，并将现有方法划分为五个类别，包括网络修剪、稀疏表现、位精度、知识蒸馏和杂项，并探讨每个类别的挑战和未来方向。

Oct, 2020

神经网络压缩的软权重共享

本文介绍一种简单的深度学习模型压缩方法，该方法结合了量化和修剪步骤，并与最小描述长度（MDL）原理紧密相关。

Feb, 2017

深度网络压缩感知训练

本文提出在训练过程中明确考虑模型压缩，通过引入低秩正则化项使每层参数矩阵的秩尽量小，实现更有效的模型压缩。实验证明，这一方法比现有的压缩技术更加高效。

Nov, 2017

Weightless：深度神经网络压缩的有损权重编码

提出一种名为 Weightless 的新颖方案，其基于 Bloomier 过滤器并结合传统压缩技术，在不影响模型准确性的前提下，可以将深度神经网络的内存占用降低至原来的 1/496，较现有技术获得了 1.51 倍的提升。

Nov, 2017

计算效率高的神经图像压缩

通过自动网络优化技术减少神经图像压缩中解码器的计算复杂度，探索码率失真性能和运行时间性能之间的平衡，提高图像压缩的计算效率。

Dec, 2019