Apr, 2018

UNIQ: 神经网络非均匀量化的均匀噪声注入

PDF
TL;DR本研究提出了一种新颖的神经网络量化方法，该方法模拟了一个自适应于量化参数分布的非均匀 k - 分位数量化器，相较于现有的均匀量化技术，我们的方法在低计算预算方面具有优势，为神经网络量化提供了一种新的选择。
neural networkquantizationnon-uniformk-quantile quantizercomputational budget
发现论文，激发创造
  • 非均匀到均匀量化：通过广义直通估计实现准确量化

    本文介绍了一种称作 “非均匀到均匀量化”（N2UQ）的方法，它在保持非均匀方法优秀的表示能力的同时，还能像均匀量化一样友好地并高效地部署在硬件中，这是通过学习非均匀量化中的灵活非等距输入阈值来实现的，其中引入了 “广义的 ST（straight-through）估计器”（G-STE），还考虑了熵保持正则化减少损失。该方法在 ImageNet 数据集上表现优异，比同类非均匀量化方法高出 0.5～1.7 个百分点。

    Nov, 2021

  • 使用多任务高斯过程查找非均匀量化方案

    本文提出了一种新的神经网络量化方法，将神经架构搜索问题视为超参数搜索来查找 CNN 各层的非均匀位分布，并通过多任务高斯过程先验来执行搜索。研究表明，通过在最后几层中采用显著较低的精度，可以实现最小的准确度损失并显著节省存储器。作者在使用 VGG、ResNet 和 GoogLeNet 架构的 CIFAR10 和 ImageNet 数据集上进行测试来证明他们的发现。

    Jul, 2020

  • 神经网络量化的噪声注入和夹紧估计（NICE）

    本文提出了一种通过噪声注入和学习夹紧来训练量化神经网络的方法，可显著加速卷积神经网络在 FPGA 上的运行速度，同时提高其准确性。

    Sep, 2018

  • 普适量化神经压缩

    通过实现一种统一的量化方式，消除训练和测试阶段的不匹配，使我们能够使用可完全区分的损失函数学习编码器。当遇到没有关于分布的假设时，这种方法的通用性可能会面临计算上的困难。最后，我们还展示了量化如何通过软量化实现，从而将压缩与无量化桥接起来。

    Jun, 2020

  • NUPES: 非均匀后训练量化算法的功率指数搜索

    通过非均匀量化和自同构的方法，优化了深度神经网络的量化问题，实现了整数位低比特推断，并在无数据和有数据两种配置下，实现了最先进的压缩率。

    Aug, 2023

  • 量化网络

    该论文提出了一种将低位量化作为可微非线性函数的新方法，并通过该方法实现了神经网络的低位量化，并取得了比现有方法更好的效果。

    Nov, 2019

  • 超低均匀精度量化的自动网络适应

    该论文提出了一种神经网络架构搜索方法 —— 神经通道扩展，该方法可以适应不同层对于量化误差的敏感度，并在满足硬件约束的情况下，有选择性地扩展量化敏感的层的通道数，从而实现在 CIFAR10 和 ImageNet 数据集上的 2 位量化最佳精度，并在较小的 FLOPs 和参数大小下取得了迄今为止最高的 ResNet50 Top-1 / Top-5 准确率。

    Dec, 2022

  • 软硬结合：重新思考神经图像压缩中的量化

    提出了一种软硬编码的方法用于神经图像压缩，通过先学习一个表达力强的隐变量空间，再采用硬编码方法解决了训练集和测试集不匹配的问题，同时引入加性噪声自适应控制量化粒度，实验结果表明该方法在复杂压缩模型上表现稳定且有效。

    Apr, 2021

  • 分布式 SGD 的截断非均匀量化

    为了解决分布式学习中的通信瓶颈挑战，本研究引入了一种新的两阶段量化策略，旨在增强分布式随机梯度下降（SGD）的通信效率。通过截断来减轻长尾噪声的影响，随后根据梯度的统计特征进行非均匀量化。我们为量化的分布式 SGD 提供了全面的收敛性分析，为其性能提供了理论保证。此外，通过最小化收敛误差，我们推导出了在给定通信约束下的截断阈值和非均匀量化水平的最优闭式解。理论洞察力和广泛的实验评估表明，我们的算法优于现有的量化方案，在通信效率和收敛性能之间达到了更优的平衡。

    Feb, 2024

  • 关于学习图像压缩的统一标量量化

    基于梯度训练的学习图像压缩中，量化方法的选择对于训练和测试的匹配性和梯度估计的风险存在权衡，本研究提出了一种基于随机均匀退火的方法，通过可调的温度系数来控制权衡，并使用两个巧妙的技巧改进了现有的量化方法，取得了比代表性图像压缩网络上现有方法更好的性能。

    Sep, 2023