IJCAIMar, 2019

无 STE 学习低精度神经网络

PDF
TL;DR该论文提出了一种 alpha-blending 替代 Straight-Through Estimator 的方法用于量化神经网络，该方法逐步将模型从全精度转化为低精度并在 CIFAR10 和 ImageNet 数据集上表现出更好的结果。
straight-through estimatoralpha-blendingquantizationneural networkslow-precision
发现论文，激发创造
  • 理解直通估计在训练激活量化神经网络中的作用

    通过学习使用 STE 实现反向传播算法中的梯度下降，通过正确选择 STE 并验证其梯度与总体梯度正相关，进而解决了搜索负方向最小化训练损失的问题。研究还比较了不同 STE 算法对 CIFAR-10 数据集的训练结果和稳定性。

    Mar, 2019

  • 自定义梯度估计器乃掩饰过后的直通式估计器

    当学习速率足够小的时候，我们通过实验证明了一类大规模的权重梯度估计器等价于直通估计器 (STE)，无需改变权重初始化和学习速率，可用于处理量化感知训练中的梯度问题。

    May, 2024

  • 估计器遇上平衡视角：用于训练二值神经网络的修正直通估计器

    通过平衡估计误差和梯度稳定性，我们提出了修正的直通估计器（ReSTE），用于神经网络压缩，其比其他估计器更合理且能灵活地平衡估计误差和梯度稳定性。实验结果表明，ReSTE 在 CIFAR-10 和 ImageNet 数据集上表现出色，超越了其他现有方法，而不需要任何辅助模块或损失函数。

    Aug, 2023

  • 学习步长量化

    本研究提出了一种训练低精度神经网络的方法，Learned Step Size Quantization，该方法使用 2、3 或 4 位字长量化权重和激活函数，并能够训练 3 位模型达到完全精度基线准确性，在 ImageNet 数据集上实现了迄今为止最高的准确性。

    Feb, 2019

  • 解决向量量化网络中优化挑战的直通估计器问题

    本文研究了在使用向量量化直通估计训练神经网络时所遇到的挑战，通过引入仿射重新参数化的过程和交替优化方法来改进模型性能。对多种模型结构和任务进行测试，包括 AlexNet，ResNet 和 ViT 以及图像分类和生成建模等领域。

    May, 2023

  • QuantNet：在全可微框架内学习量化

    本文介绍了一种元学习量化模型 QuantNet，能够直接将全精度权重二进制化，解决了由于 STE 引起的梯度差异问题，减缓了二进制化操作对性能的离散化误差的影响，并在 CIFAR-100 和 ImageNet 数据集上取得了显著的改进。

    Sep, 2020

  • 利用量化噪音进行极限模型压缩的训练

    本文针对在给定模型大小时最大化其准确性的紧凑模型生成问题，将讨论延伸量化感知训练的方法，实现了仅在每个前向传递过程中量化不同的一组随机权重，从而利用 SE 残差正向时间传递的无偏梯度实现极端压缩的目的，并在自然语言处理和图像分类领域分别取得了新的准确性与模型大小之间的最优折中表现。

    Apr, 2020

  • 使用随机量化学习准确的低比特深度神经网络

    本文介绍了一种用于学习准确的低比特深度神经网络的随机量化算法，其逐渐将网络量化，并可显著提高在不同数据集和结构上的低比特深度神经网络的准确度，适用于嵌入式应用。

    Aug, 2017

  • 一种深度神经网络低比特宽度训练的统计框架

    本论文提出了一个用于分析全量化训练算法的统计框架，并探讨了梯度量化对其收敛性的影响。作者开发了两个新的梯度量化器，并展示了这些量化器相对于现有的每个张量量化器具有更小的方差。

    Oct, 2020

  • 使用逐元素梯度缩放的网络量化

    本文提出了一种新的基于 element-wise gradient scaling 的量化网络的训练方法，该方法可以更好地解决量化误差问题，提高在有限硬件资源情况下深度神经网络的稳定性和准确性。

    Apr, 2021