Aug, 2024

RTF-Q：基于无监督领域适应的无重训量化网络

HTML
PDF
TL;DR本研究解决了在资源受限的边缘设备上进行无监督领域适应时存在的参数精度冗余问题。我们提出了一种无需重训的量化网络RTF-Q，采用可变计算成本的量化子网，能够在动态变化的计算预算下高效运行。实验表明，该方法在多个领域适应任务上展示了与最先进方法相当的分类精度，同时显著减少了网络规模和计算开销。
发现论文，激发创造
  • 深度神经网络固定点推断的准确有效的训练量化阈值

    使用标准反向传播和梯度下降法提出了一种对均匀对称量化器进行训练阈值（TQT）的方法，能够以8位量化重新训练不到5次即可在MobileNets等传统难度网络上实现接近浮点精度的分类性能。

    Mar, 2019

  • 有损后训练量化

    研究神经网络量化对损失函数的结构的影响，证明在轻量量化时，损失函数的结构是平坦且可分离的，从而使得一些简单的后量化方法能够获得良好的结果。同时，提出了一种通过同时量化层参数来提高精度的方法。

    Nov, 2019

  • 一种深度神经网络低比特宽度训练的统计框架

    本论文提出了一个用于分析全量化训练算法的统计框架，并探讨了梯度量化对其收敛性的影响。作者开发了两个新的梯度量化器，并展示了这些量化器相对于现有的每个张量量化器具有更小的方差。

    Oct, 2020

  • Pareto-Optimal Quantized ResNet 可优化量化为主要 4 位

    研究表明，使用4位和8位模型量化的bfloat16 ResNet模型计算成本和准确性的权衡曲线优于bfloat16模型，其中以4位模型量化为主的模型具有最佳Pareto曲线，并且基于量化感知训练的4位ResNet-50模型在ImageNet上取得了77.09％的准确率。

    May, 2021

  • BatchQuant: 鲁棒量化器的量子化全架构搜索

    我们提出了BatchQuant，这是一种稳健的量化器公式，可在数量少得多的GPU小时内训练出一种超过10^{76}个量化子网的紧凑超网，并首次无需重新训练即可无缝扩展一次权重共享NAS超网以支持任意超低位宽混合精度量化策略的子网。

    May, 2021

  • 比特宽度自适应、量化感知的神经网络训练：一种元学习方法

    本文提出一种元学习方法，通过重新定义元学习任务来与量化训练(QAT)相结合，实现比特宽度自适应量化的目标，并通过开发基于常规优化或度量的元学习方法，在少样本的情况下可适应任何比特宽度及目标类别。实验结果证明其在多种 QAT 方案中的有效性，在不牺牲精度的前提下，将比特宽度合并到元学习任务中可实现更高的鲁棒性。

    Jul, 2022

  • QFT：通过快速联合微调所有自由度进行后训练量化

    提出了一种硬件意识的量化网络参数化方法——量化感知微调（QFT），可以通过联合端对端微调实现一步到位的量化，获得与最优结果相当的4位权重量化结果。

    Dec, 2022

  • 自适应无数据量化

    本文提出了一种基于生成对抗网络的自适应无数据量化方法，通过优化生成样本与量化网络间的适应性，以达到优化网络压缩和适应性的效果，实验证明该方法优于现有技术。

    Mar, 2023

  • RepQ：通用量化感知训练重新参数化架构

    现有的神经网络在资源受限环境中部署困难，本文通过提出一种称为RepQ的新方法，将量化应用于重新参数化的网络，以提高神经网络的效率和模型性能。

    Nov, 2023

  • AdaQAT：自适应比特宽度量化感知训练

    本文介绍了AdaQAT，一种基于学习的方法，用于在训练过程中自动优化深度神经网络的权重和激活信号的比特宽度，以实现更高效的推断。相比其他方法，AdaQAT在从头开始训练和微调场景中表现良好，并在CIFAR-10和ImageNet数据集上使用ResNet20和ResNet18模型表明我们的方法与最先进的混合精度量化方法竞争力强。

    Apr, 2024