普适量化神经压缩
提出了一种软硬编码的方法用于神经图像压缩,通过先学习一个表达力强的隐变量空间,再采用硬编码方法解决了训练集和测试集不匹配的问题,同时引入加性噪声自适应控制量化粒度,实验结果表明该方法在复杂压缩模型上表现稳定且有效。
Apr, 2021
本文研究深度神经网络的权重量化和无损源编码的有损压缩以实现内存有效部署,通过引入通用向量量化和通用源编码,实现了通用的深度神经网络压缩,并尝试运用通用随机格量化方法来随机化神经网络权重,证明该方法在压缩 32 层的 ResNet 和 AlexNet 时具有较高的压缩比和较低的失真率。
Feb, 2018
本研究提出了一种基于变量量化的控制器,它能动态分配显著通道和微不足道通道的比特率,同时我们提出了一种高斯混合模型量化器,并通过实验证明了我们的方法能够更好地重构图像并取得更好的性能。
Jul, 2020
本研究提出了一种基于 Hessian-weighted k-means clustering 和 ECSQ 的网络量化方案,以在达到压缩比约束的前提下最小化网络量化的性能损失,并进行了 LeNet,32 层 ResNet 和 AlexNet 的压缩实验。
Dec, 2016
本文介绍了一种称作 “非均匀到均匀量化”(N2UQ)的方法,它在保持非均匀方法优秀的表示能力的同时,还能像均匀量化一样友好地并高效地部署在硬件中,这是通过学习非均匀量化中的灵活非等距输入阈值来实现的,其中引入了 “广义的 ST(straight-through)估计器”(G-STE),还考虑了熵保持正则化减少损失。该方法在 ImageNet 数据集上表现优异,比同类非均匀量化方法高出 0.5~1.7 个百分点。
Nov, 2021
本篇论文提出了一种基于端到端训练策略的学习深层结构中可压缩表示的新方法,此方法基于分段连续函数,将分段函数在训练过程中逐渐退化为其离散化函数。并且作者将该方法应用于图片压缩和神经网络压缩两个具有挑战性的领域,取得了与基于不同方法的最先进技术相当的成果。
Apr, 2017
我们提出了一种新颖的算法来量化训练模型中的连续潜在表达式,该算法适用于深度概率模型,可以实现数据和模型压缩,并且可以基于后验不确定性使用自适应量化精度来实现可变的码率失真折衷,实验证明了所提出的算法的有效性。
Feb, 2020
通过使用带有 K 个条目的码簿进行实值权重的量化,我们提出了一种新方法,该方法基于模型压缩作为约束优化框架,交替进行连续权重的网络学习和权重量化(或二值化 / 三值化)的步骤,以便在量化网络的损失上收敛到局部最优解。
Jul, 2017
基于梯度训练的学习图像压缩中,量化方法的选择对于训练和测试的匹配性和梯度估计的风险存在权衡,本研究提出了一种基于随机均匀退火的方法,通过可调的温度系数来控制权衡,并使用两个巧妙的技巧改进了现有的量化方法,取得了比代表性图像压缩网络上现有方法更好的性能。
Sep, 2023
本文针对在给定模型大小时最大化其准确性的紧凑模型生成问题,将讨论延伸量化感知训练的方法,实现了仅在每个前向传递过程中量化不同的一组随机权重,从而利用 SE 残差正向时间传递的无偏梯度实现极端压缩的目的,并在自然语言处理和图像分类领域分别取得了新的准确性与模型大小之间的最优折中表现。
Apr, 2020