Apr, 2017

软到硬向量量化用于端到端学习可压缩表示

PDF
TL;DR本篇论文提出了一种基于端到端训练策略的学习深层结构中可压缩表示的新方法，此方法基于分段连续函数，将分段函数在训练过程中逐渐退化为其离散化函数。并且作者将该方法应用于图片压缩和神经网络压缩两个具有挑战性的领域，取得了与基于不同方法的最先进技术相当的成果。
compressible representationsdeep architecturesend-to-end training strategysoft-to-hard quantization approachimage compression
发现论文，激发创造
  • 软硬结合：重新思考神经图像压缩中的量化

    提出了一种软硬编码的方法用于神经图像压缩，通过先学习一个表达力强的隐变量空间，再采用硬编码方法解决了训练集和测试集不匹配的问题，同时引入加性噪声自适应控制量化粒度，实验结果表明该方法在复杂压缩模型上表现稳定且有效。

    Apr, 2021

  • 变分贝叶斯量化

    我们提出了一种新颖的算法来量化训练模型中的连续潜在表达式，该算法适用于深度概率模型，可以实现数据和模型压缩，并且可以基于后验不确定性使用自适应量化精度来实现可变的码率失真折衷，实验证明了所提出的算法的有效性。

    Feb, 2020

  • 软凸量化：用凸优化重新审视向量量化

    通过使用可微分的凸优化方法，Soft Convex Quantization (SCQ) 成为对传统的 Vector Quantization (VQ) 的替代品，并在图像重构和编码速度等方面取得了显著的改进。

    Oct, 2023

  • 神经网络压缩的软权重共享

    本文介绍一种简单的深度学习模型压缩方法，该方法结合了量化和修剪步骤，并与最小描述长度（MDL）原理紧密相关。

    Feb, 2017

  • 利用量化噪音进行极限模型压缩的训练

    本文针对在给定模型大小时最大化其准确性的紧凑模型生成问题，将讨论延伸量化感知训练的方法，实现了仅在每个前向传递过程中量化不同的一组随机权重，从而利用 SE 残差正向时间传递的无偏梯度实现极端压缩的目的，并在自然语言处理和图像分类领域分别取得了新的准确性与模型大小之间的最优折中表现。

    Apr, 2020

  • 普适量化神经压缩

    通过实现一种统一的量化方式，消除训练和测试阶段的不匹配，使我们能够使用可完全区分的损失函数学习编码器。当遇到没有关于分布的假设时，这种方法的通用性可能会面临计算上的困难。最后，我们还展示了量化如何通过软量化实现，从而将压缩与无量化桥接起来。

    Jun, 2020

  • 置换、量化和微调：神经网络的高效压缩

    通过对权重的重新排列，利用矢量量化方式压缩多层神经网络以在低性能计算平台上运行。在图像分类、目标检测和分割等任务中，相对于现有技术水平，可以将压缩后网络的性能损失降低 40％至 70％。

    Oct, 2020

  • 可微分乘积量化用于端到端嵌入压缩

    本文提出了可最小化储存空间的不同产品量化的压缩框架（DPQ），可以作为任何现有嵌入层的替代品，且降低了 14-238 倍的压缩率，以及在三个不同语言任务的 10 个数据集上表现良好。

    Aug, 2019

  • 深度神经网络压缩的可微细粒度量化

    本文提出了一种基于梯度下降优化的深度神经网络压缩的精细化量化方法，通过在不同结构、层次上采用不同的精度，达到更好的压缩比和准确率的平衡。实验结果表明，与传统量化方法相比，该方法在相同压缩率下表现更优。

    Oct, 2018

  • VecQ: 基于向量化权重量化的 DNN 最小损失模型压缩

    本文提出了一种称为 Vector Loss 的新指标，提出了一种新的量化解决方案 VecQ，它可以保证直接量化损失最小和更好的模型精度。此外，为了加快模型训练期间的量化过程，本文还使用参数化概率估算方法和基于模板的导出计算对量化过程进行了加速。

    May, 2020