Aug, 2023

FLIQS: 单次混合精度浮点数与整数量化搜索

HTML
PDF
TL;DR量化已成为现代深度神经网络的主流压缩技术，本文提出了一种一次性的混合精度量化搜索方法，通过整数和低精度浮点模型在不需要重新训练的情况下提高了ResNet-18和ResNet-50在ImageNet上的准确性，并探索了混合精度浮点搜索和量化与神经架构空间的联合搜索。
发现论文，激发创造
  • 使用8位整数训练高性能和大规模深度神经网络

    本文提出了一种名为WAGEUBN的统一完整量化框架，可将神经网络的数据路径（包括所有数据类型W，A，G，E，U和BN）中所有数据转换为低位整数以实现全面量化和在线训练，并在ImageNet数据集上获得了可比较的精度，展示了在大规模DNNs中8位INT级别的完整量化的功能性。

    Sep, 2019

  • 针对MobileNet的Subtensor量化

    本文研究深度神经网络量化的问题，针对不同的架构提出了一些不同的替代方案，并在ImageNet数据集上进行了图像分类实验，结果表明后量化准确率与浮点数版本在0.7％以内。

    Nov, 2020

  • HAWQV3：二元神经网络量化

    HAWQV3 提出了一种新型的混合精度整数量化框架，通过纯整数运算、硬件感知混合精度量化和直接硬件部署方法，实现了模型压缩和量化加速，其中 INT8 量化的准确率比之前的整数方法提高了2.68％，同时混合精度的 INT4/8 量化可以将 INT8 的延迟降低23％且仍能保持76.73％的准确率。

    Nov, 2020

  • 通过约束优化实现神经网络混合精度量化

    采用离散约束优化问题和二阶泰勒展开，提出了解决深度神经网络中多精度量化问题的一种高效算法，并在ImageNet数据集和各种网络体系结构上得出了比现有方法更优的结果。

    Oct, 2021

  • FxP-QNet: 一种用于混合低精度DNN设计的训练后量化器，采用动态定点表示

    本文提出一种新的深度神经网络固定点量化框架(FxP-QNet)，该框架可以在保证网络精度的前提下，根据网络对低精度的需求动态地设计不同精度的量化级别。在基准测试(ImageNet)中，模型的内存需求得到了7.16倍-10.36倍的压缩，同时准确率只有不到2%的损失。

    Mar, 2022

  • 通过支撑和质量均衡设计三元神经网络量化的强基准线

    本研究探讨深度神经网络的量化，并设计 TQuant 和 MQuant 两个操作符以最大化最小化的误差从而显著提高性能。

    Jun, 2023

  • 自由比特：边缘上混合精度量化神经网络的延迟优化

    该论文提出了一种混合精度搜索方法，该方法通过硬件无关的可微分搜索算法和硬件感知优化算法来寻找特定硬件目标上的优化后的混合精度配置，以减少模型大小、延迟并保持统计准确性，该方法在MobileNetV1和MobileNetV2上进行了评估，在具有不同硬件特性的多核RISC-V微控制器平台上展示了与8位模型相比高达28.6%的端到端延迟降低，在没有对子字节算术支持的系统上也能实现加速，同时在代表延迟的减少二进制运算次数上，我们的方法也表现出优越性。

    Jul, 2023

  • MetaMix: 混合精度激活量化的元状态精确搜索器

    提出了一种名为MetaMix的新方法，通过位选择和权重训练阶段来解决混合精度量化中的激活不稳定性问题，其通过降低混合精度量化中的激活不稳定性，实现快速、高质量的位选择，而权重训练阶段则利用位选择阶段中训练的权重和步长进行微调，从而提供快速训练。在ImageNet数据集上对MobileNet v2、v3和ResNet-18等高效且难以量化的网络进行的实验显示，我们的方法在准确度与操作之间推动了混合精度量化的发展边界，并且在性能上超过了混合精度和单精度的SOTA方法。

    Nov, 2023

  • 在FPGA上使用低精度Minifloats和整数进行后训练量化

    在这项研究中，我们通过对模型权重和激活函数使用3至8位的浮点数和整数量化方案，比较了浮点数量化和整数量化的适用性，验证了低精度minifloats在一系列精度-准确度权衡中相对于整数量化的有效性，并通过FPGA型号评估结果，表明整数量化通常是优选选择。

    Nov, 2023

  • 联合修剪与通道混合精度量化用于高效的深度神经网络

    通过轻量级的基于梯度的搜索方法和硬件感知的方式，结合稀疏化和混合精度量化的优化技术，在减小延迟和内存占用方面获得Pareto最优的准确性与成本（即延迟或内存）之间的深度神经网络。

    Jul, 2024