Aug, 2023
L2 后训练模型大小压缩
Lossy and Lossless (L$^2$) Post-training Model Size Compression
Yumeng Shi, Shihao Bai, Xiuying Wei, Ruihao Gong, Jianlei Yang
TL;DR通过统一的参数化权重转换和可微分计数器，提出了一个后训练模型大小压缩方法，可以同时进行有损和无损压缩，实现了稳定的 10 倍压缩比和短时间内 20 倍压缩比。
Abstract
deep neural networks have delivered remarkable performance and have been
widely used in various visual tasks. However, their huge size causes
significant inconvenience for transmission and storage. Many previous studies
have explored →
deep neural networksmodel size compressionlossy and lossless compressionparametric weight transformationcompression ratio
发现论文，激发创造
基础模型的无损和接近无损压缩
我们研究了一种传统的模型压缩方法，即无损压缩，表明这种方法在流行的模型上可以显著减少网络和存储需求，并引入了一种可调节的有损压缩技术，进一步减小模型的大小。
Apr, 2024
Weightless：深度神经网络压缩的有损权重编码
提出一种名为 Weightless 的新颖方案，其基于 Bloomier 过滤器并结合传统压缩技术，在不影响模型准确性的前提下，可以将深度神经网络的内存占用降低至原来的 1/496，较现有技术获得了 1.51 倍的提升。
Nov, 2017
通用深度神经网络压缩
本文研究深度神经网络的权重量化和无损源编码的有损压缩以实现内存有效部署，通过引入通用向量量化和通用源编码，实现了通用的深度神经网络压缩，并尝试运用通用随机格量化方法来随机化神经网络权重，证明该方法在压缩 32 层的 ResNet 和 AlexNet 时具有较高的压缩比和较低的失真率。
Feb, 2018
深度神经网络无损压缩
本文介绍了一种名为 LEO 的算法，该算法利用混合整数线性规划技术在线性行为上识别修正线性单元，以便使用 L1 规则进行训练，从而实现在有限计算资源下实现神经网络无损压缩。
Jan, 2020
基于熵罚项重新参数化的可扩展模型压缩
本文提出一种在神经网络中进行权重压缩的通用方法，利用潜变量重新调参，在学习过程中施加熵惩罚，并在训练后使用简单的算术编码器对其进行压缩，实现了模型的压缩和分类准确率的最大化。
Jun, 2019
多尺度渐进统计模型实现无损图像压缩
本文提出一种多尺度渐进统计模型，兼顾像素级别处理和多尺度处理，能够在不显著降低推理速度的情况下，在两个大型基准数据集上显著优于现有的无损图像压缩方法。
Aug, 2021