Jan, 2020

通过去量化学习离散分布

PDF
TL;DR本文提出了一种通用的去量化框架，其中包含了现有方法的一些特殊情况，通过添加加性噪声来实现深度学习中的分布建模。作者还引入了两种新的去量化目标：重要性加权去量化和 Rényi 去量化，以及一种更灵活的去量化分布 —— 自回归去量化（ARD）。经验结果表明，对于均匀去量化分布，iw 和 Rényi 去量化可以显著提高性能。在 CIFAR10 数据集上，ARD 实现了每维 3.06 比特的负对数似然，而不需要自回归逆用于采样的分布模型是最先进的。
deep learningdensitydequantizationautoregressivedistribution models
发现论文，激发创造
  • 离散神经网络的松弛量化

    本文介绍一种可微的量化过程，将连续分布转换为分类型分布，然后通过松弛到连续的代理来实现高效的基于梯度的优化，还展示了随机舍入可理解为所提出方法的一个特例。通过实验证明本方法对于 MNIST、CIFAR 10 和 Imagenet 等各种问题的分类都具有很好的表现.

    Oct, 2018

  • 基于标准差的深度神经网络量化

    本文提出了基于权重和激活分布的标准差的量化区间学习框架，同时引入了一种基于 base-2 对数的量化模式，该模式不仅证明了较好的精度表现，还能进行参数剪枝。

    Feb, 2022

  • 基于对抗知识蒸馏的无数据量化网络

    本文提出了一种无需数据的对抗知识蒸馏，通过合成数据来实现数据自由的网络量化，包括多个生成器和多个学生的多样化对抗样本，实现了 (wide) residual networks 和 MobileNet 在 SVHN、CIFAR-10、CIFAR-100 和 Tiny-ImageNet 数据集上最先进的数据自由模型压缩和量化效果。

    May, 2020

  • 基于蒸馏和量化的模型压缩

    本文提出了两种新的模型压缩方法：量化蒸馏和可微量化。两种方法在卷积和循环体系结构上的实验结果表明，在资源受限的环境中，量化浅层神经网络可以达到与全精度模型相似的准确性水平，同时提供数量级压缩和推断加速。

    Feb, 2018

  • 在深度神经网络中找到任务最优的低比特子分布

    通过自适应映射量化和高斯混合方法以及直接任务目标优化来对大规模的图像分类和物体检测进行高效部署，同时实现了高达 7.46 倍的移动 CPU 推理加速。

    Dec, 2021

  • 生成式低比特宽度无数据量化

    本文提出了一种简单而有效的方法，叫做生成式低比特数据无关量化 (GDFQ)，通过使用预训练模型中的分类边界知识和分布信息，利用知识匹配生成器生成有意义的虚假数据，从而消除数据依赖负担，来量化模型。在三个数据集上的广泛实验证明了本方法的有效性，并且在 4 位量化上的精确性要比现有的数据无关量化方法高得多。

    Mar, 2020

  • 数据集量化

    用于训练任何神经网络架构的新的数据集压缩方法 (DQ) 能够通过压缩大规模数据集生成精简小数据集，实现了无损模型训练的最新压缩比，可用于视觉任务和语言任务。

    Aug, 2023

  • 基于混合强化学习的数据质量感知混合精度量化

    本研究提出了一种名为 DQMQ 的新型混合精度量化框架，可动态地适应不同数据质量，通过学习一个决策规则，它被建模为一种混合强化学习任务，该任务结合了基于模型的策略优化和监督量化训练。通过在混合质量的图像数据集上进行训练，DQMQ 可以在面对不均匀输入质量时隐式地选择每个层的最适宜比特宽度，在各种基准数据集和网络上的大量实验表明，DQMQ 比现有的固定 / 混合精度量化方法更为优越。

    Feb, 2023

  • 软硬结合：重新思考神经图像压缩中的量化

    提出了一种软硬编码的方法用于神经图像压缩，通过先学习一个表达力强的隐变量空间，再采用硬编码方法解决了训练集和测试集不匹配的问题，同时引入加性噪声自适应控制量化粒度，实验结果表明该方法在复杂压缩模型上表现稳定且有效。

    Apr, 2021

  • 相似性搜索的扩散向量

    该研究提出了一种基于神经网络的反向数据量化策略，通过在神经网络最后一层形成预定义超球体点的无参数量化器，训练神经网络来实现对数据进行适配的目标；通过 Kozachenko-Leonenko 差分熵估计器导出新的正则化项来强制实现数据空间内的均匀性，并进行本地特性感知的 Triplet Loss，实验结果表明这种方法的性能优于大多数方法，与现有的最佳方法相当。

    Jun, 2018