神经网络权重的可压缩性丧失

May, 2019

Compressibility Loss for Neural Network Weights

Caglar Aytekin, Francesco Cricri, Emre Aksu

TL;DR本文介绍一种压缩性损失的方法，使神经网络学习高度压缩的神经网络权重，采用这种方法可以使信号的非零部分具有极低的熵，从而整个信号更容易被压缩，我们证明了目标函数的临界点可以使权重向量成为三元信号，其取决于稀疏度，我们实验了这种方法，结果发现它可以最大限度地保留权重，使神经网络的压缩比与现有的最先进方法相似。

Abstract

In this paper we apply a compressibility loss that enables learning highly compressible neural network weights. The loss was previously proposed as a measure of negated sparsity of a signal, yet in this paper we

compressibility loss neural network weight sparsity optimization problem compression ratios

发现论文，激发创造

Weightless：深度神经网络压缩的有损权重编码

提出一种名为 Weightless 的新颖方案，其基于 Bloomier 过滤器并结合传统压缩技术，在不影响模型准确性的前提下，可以将深度神经网络的内存占用降低至原来的 1/496，较现有技术获得了 1.51 倍的提升。

Nov, 2017

自压缩神经网络

本文介绍了一种称为 Self-Compression 的方法，可以移除神经网络中的冗余参数和减少表示权重所需的位数，从而简化网络结构，提高训练和推断效率。作者通过实验证明，使用 Self-Compression 方法可以在只保留网络中 18% 的权重和仅需 3% 的位数的条件下，还能实现浮点数的准确性。

Jan, 2023

神经网络压缩的软权重共享

本文介绍一种简单的深度学习模型压缩方法，该方法结合了量化和修剪步骤，并与最小描述长度（MDL）原理紧密相关。

Feb, 2017

改进的贝叶斯压缩

本文提出了结合软权重共享和变分 dropout 方法的神经网络模型压缩新方法，达到了工业规模使用的标准。

Nov, 2017

深度神经网络的熵受限训练

该研究提出了一种神经网络压缩的通用框架，通过最小描述长度原则和熵来量化其复杂度并使用基于梯度的优化技术实现了优秀的压缩结果。

Dec, 2018

基于熵罚项重新参数化的可扩展模型压缩

本文提出一种在神经网络中进行权重压缩的通用方法，利用潜变量重新调参，在学习过程中施加熵惩罚，并在训练后使用简单的算术编码器对其进行压缩，实现了模型的压缩和分类准确率的最大化。

Jun, 2019

可编程的神经网络压缩方法

本文介绍了一种名为 Condensa 的可编程模型压缩系统，可以通过程序化组合简单的操作符来构建更复杂和实际的压缩策略，并使用贝叶斯优化算法自动推断最佳稀疏度，实验结果表明，该系统可以在保持较高准确率的前提下，将存储占用和运行时间分别提高 188 倍和 2.59 倍。

Nov, 2019

随机梯度下降中的重尾以及过度参数化神经网络的可压缩性

本研究揭示了训练算法的动态特性在实现神经网络压缩方案上起着关键作用，通过将压缩性与随机梯度下降的近期性质联系起来，本文证明了当神经网络遵循一定条件时，网络参数具有稀疏性，并且压缩误差可以任意减小，同时可证明良好的压缩性可降低泛化误差，该理论得到了各种神经网络的数值实验验证。

Jun, 2021

可压缩特征的端到端学习

为了解决传统基于信息熵的无损压缩方法在降维时效果不佳的问题，本文提出了一种基于学习的方法，可以同时优化特征的可压缩性和任务目标，从而生产一个更具压缩性的特征，同时提高其准确性。

Jul, 2020

通用深度神经网络压缩

本文研究深度神经网络的权重量化和无损源编码的有损压缩以实现内存有效部署，通过引入通用向量量化和通用源编码，实现了通用的深度神经网络压缩，并尝试运用通用随机格量化方法来随机化神经网络权重，证明该方法在压缩 32 层的 ResNet 和 AlexNet 时具有较高的压缩比和较低的失真率。

Feb, 2018