ECCVJul, 2020

使用多任务高斯过程查找非均匀量化方案

PDF
TL;DR本文提出了一种新的神经网络量化方法，将神经架构搜索问题视为超参数搜索来查找 CNN 各层的非均匀位分布，并通过多任务高斯过程先验来执行搜索。研究表明，通过在最后几层中采用显著较低的精度，可以实现最小的准确度损失并显著节省存储器。作者在使用 VGG、ResNet 和 GoogLeNet 架构的 CIFAR10 和 ImageNet 数据集上进行测试来证明他们的发现。
发现论文，激发创造
  • 在深度神经网络中找到任务最优的低比特子分布

    通过自适应映射量化和高斯混合方法以及直接任务目标优化来对大规模的图像分类和物体检测进行高效部署，同时实现了高达 7.46 倍的移动 CPU 推理加速。

    Dec, 2021

  • 非均匀到均匀量化：通过广义直通估计实现准确量化

    本文介绍了一种称作 “非均匀到均匀量化”（N2UQ）的方法，它在保持非均匀方法优秀的表示能力的同时，还能像均匀量化一样友好地并高效地部署在硬件中，这是通过学习非均匀量化中的灵活非等距输入阈值来实现的，其中引入了 “广义的 ST（straight-through）估计器”（G-STE），还考虑了熵保持正则化减少损失。该方法在 ImageNet 数据集上表现优异，比同类非均匀量化方法高出 0.5～1.7 个百分点。

    Nov, 2021

  • 可微神经架构搜索进行卷积网络的混合精度量化

    该研究探索了一种新的神经网络压缩方法，通过不同比特宽度的量化不同层并使用可微分神经架构搜索框架进行优化，成功地实现了比现有方法更高的压缩率，模型尺寸缩小 21.1 倍或计算量降低 103.9 倍

    Nov, 2018

  • UNIQ: 神经网络非均匀量化的均匀噪声注入

    本研究提出了一种新颖的神经网络量化方法，该方法模拟了一个自适应于量化参数分布的非均匀 k - 分位数量化器，相较于现有的均匀量化技术，我们的方法在低计算预算方面具有优势，为神经网络量化提供了一种新的选择。

    Apr, 2018

  • 卷积神经网络滤波器级别异构压缩学习

    该研究使用神经架构搜索技术将优选算术位宽分配和网络剪枝问题制定为通过搜索满足计算复杂性预算并最大化准确性的配置的神经架构搜索问题，旨在减少计算时间开支。

    Apr, 2019

  • 超低均匀精度量化的自动网络适应

    该论文提出了一种神经网络架构搜索方法 —— 神经通道扩展，该方法可以适应不同层对于量化误差的敏感度，并在满足硬件约束的情况下，有选择性地扩展量化敏感的层的通道数，从而实现在 CIFAR10 和 ImageNet 数据集上的 2 位量化最佳精度，并在较小的 FLOPs 和参数大小下取得了迄今为止最高的 ResNet50 Top-1 / Top-5 准确率。

    Dec, 2022

  • 具有可证明保证的神经网络后训练量化

    本研究提出了一种针对神经网络量化的方法，该方法通过量化权重来降低计算成本、内存占用和功耗，并促进权重的稀疏性，使用本方法在 ImageNet 上测试显示准确性的损失很小。

    Jan, 2022

  • 基于遗传算法的针对门控循环单元的定制化混合精度次 8 位量化方案

    提出了一种用于 Gated Recurrent Units (GRU) 的模块化整数量化方案，通过遗传算法 (Genetic Algorithms) 优化 bit 宽度，以同时优化模型大小和准确性。在四个不同的顺序任务中，其混合精度解决方案在 Pareto 效率方面优于同质精度解决方案，实现模型大小减少 25% 至 55% 的同时，准确性与等效的 8 位同质模型可比。

    Feb, 2024

  • NUPES: 非均匀后训练量化算法的功率指数搜索

    通过非均匀量化和自同构的方法，优化了深度神经网络的量化问题，实现了整数位低比特推断，并在无数据和有数据两种配置下，实现了最先进的压缩率。

    Aug, 2023

  • 置换、量化和微调：神经网络的高效压缩

    通过对权重的重新排列，利用矢量量化方式压缩多层神经网络以在低性能计算平台上运行。在图像分类、目标检测和分割等任务中，相对于现有技术水平，可以将压缩后网络的性能损失降低 40％至 70％。

    Oct, 2020