利用格码变换在神经压缩中接近速率失真限制
本文研究了向量量化和标量量化在高清图像压缩方面的优劣,并提出了一种新的方案:通过非线性向量变换和多级量化战略解决了向量量化的复杂性问题,并采用基于熵的向量量化来确定量化边界,从而优化速度和性能。与现有的基于非线性变换编码的方法相比,该方法具有更好的速度和模型尺寸,研究结果表明该方法性能更佳。
May, 2023
本文提出了一种 Lattice Vector Quantization(LVQ)和空间自适应扩展(AC)相结合的新型映射策略,以取得更好的压缩效果,实验证明使用 LVQAC 可以在不显著增加模型复杂度的情况下,提高图像压缩性能。
Mar, 2023
评估了一类名为非线性变换编码(NTC)的方法,这些方法在过去几年中已经与最佳线性变换编解码器在图像方面具有竞争力,并以已建立的感知质量指标(例如 MS-SSIM)超越了它们的速率 - 失真性能。通过简单示例源的帮助,评估了 NTC 的经验速率 - 失真性能,为此引入了一种新颖的熵约束向量量化器的变体;提供了各种形式的用于 NTC 模型的随机优化技术的分析;审查基于人工神经网络的变换体系结构以及学习的熵模型;并将多种方法进行了直接比较,以参数化非线性变换的速率 - 失真权衡,引入了一个简化的方法。
Jul, 2020
本文研究深度神经网络的权重量化和无损源编码的有损压缩以实现内存有效部署,通过引入通用向量量化和通用源编码,实现了通用的深度神经网络压缩,并尝试运用通用随机格量化方法来随机化神经网络权重,证明该方法在压缩 32 层的 ResNet 和 AlexNet 时具有较高的压缩比和较低的失真率。
Feb, 2018
本文研究深度神经网络模型压缩技术,提出了基于速率失真理论的压缩架构以及优化剪枝和量化技术,理论上证明了该架构对于一层 ReLU 神经网络最优,实验证明该方法在压缩 - 精度平衡上显著优于基线方法。
Oct, 2018
通过我们的速率 - 失真计算(RDC)研究,我们展示了虽然浮点运算(FLOPs)和运行时间对于准确地比较神经压缩方法都是不足够的,但我们还是找到了一种新型神经压缩架构,其在计算要求和 RD 性能之间具有最佳的实证权衡。
Sep, 2023
通过对权重的重新排列,利用矢量量化方式压缩多层神经网络以在低性能计算平台上运行。在图像分类、目标检测和分割等任务中,相对于现有技术水平,可以将压缩后网络的性能损失降低 40%至 70%。
Oct, 2020
本研究提出了一种基于 Hessian-weighted k-means clustering 和 ECSQ 的网络量化方案,以在达到压缩比约束的前提下最小化网络量化的性能损失,并进行了 LeNet,32 层 ResNet 和 AlexNet 的压缩实验。
Dec, 2016
本文介绍一种基于自动编码器和潜变量表示的神经压缩方法,并探讨了在训练后适应单个视频、发送模型更新以及重新调整参数等方面的改进措施。结果表明,相较于仅调整编码器的方式,对整个模型进行调整可以提高图像在视频中的压缩性能约 1 dB。
Jan, 2021
提出了一种软硬编码的方法用于神经图像压缩,通过先学习一个表达力强的隐变量空间,再采用硬编码方法解决了训练集和测试集不匹配的问题,同时引入加性噪声自适应控制量化粒度,实验结果表明该方法在复杂压缩模型上表现稳定且有效。
Apr, 2021