- RefQSR: 基于参考的图像超分辨率网络量化
单图像超分辨率 (SISR) 的研究旨在从低分辨率观察中重建出高分辨率图像。本研究探索了图像自相似性作为新的研究方向,并提出了一种名为参考量化的图像超分辨率方法 (RefQSR),该方法使用高比特量化的几个代表性补丁,并将它们作为剩余补丁低 - 通过粗粒度和细粒度权重分割进行重参数化的训练后量化
神经网络在各种应用中取得了巨大的进展,但需要大量的计算和内存资源。网络量化是一种强大的技术,用于压缩神经网络,使得人工智能的部署更加高效和可扩展。最近,再参数化 emerged 作为一种有前途的技术来提高模型性能,同时减轻各种计算机视觉任务 - CVPRZippyPoint:通过混合精度离散化实现快速兴趣点检测、描述和匹配
研究如何在计算能力有限的平台上使用检测和描述神经网络,探索和适应网络量化技术来提高推理速度,并建议使用二进制描述符规范化层,生成具有恒定数字的显著二进制描述符。通过 ZippyPoint,可以在与全精度模型相比,可显著提高网络运行速度、描述 - IJCAIFQ-ViT: 完全量化视觉 Transformer 的后训练量化
本研究开发了基于 Power-of-Two Factor(PTF)和 Log-Int-Softmax(LIS)的技术来简化全量化视觉 Transformer 的推理复杂度,并应用于各种基于 Transformer 的体系结构和基准测试中,以 - 面向深度神经网络的锐度感知量化
本研究提出了一种新方法,叫做 sharpness-aware quantization,旨在通过减小量化时的抖动来提高网络压缩的泛化性能,此方法在多组实验中均能取得比当前最先进方法更好的结果。
- OMPQ: 正交混合精度量化
提出使用网络正交性作为网络量化的代理指标,使用线性规划优化代理指标,降低搜索时间和数据依赖性,从而实现高效且准确的网络量化,分别在 ResNet-18 和 MobileNetV2 上实现了 72.08% 和 71.27% 的 Top-1 准 - ICCV使用比特位丢弃的聚类促进量化,最小化网络量化损失
本研究提出了一种新的神经网络量化方法,名为 Cluster-Promoting Quantization (CPQ),该方法使用了一些特殊的技术,可以得到比传统方法更优秀的性能并且支持异构量化水平学习。
- ICCV距离感知量化
该论文介绍了一种统一的框架来解决网络量化问题,通过引入一种新型的距离感知量化器 (DAQ), 该方法既解决了梯度匹配问题,也解决了量化差异问题,有效提高了各种位宽下的网络性能。
- CVPR使用逐元素梯度缩放的网络量化
本文提出了一种新的基于 element-wise gradient scaling 的量化网络的训练方法,该方法可以更好地解决量化误差问题,提高在有限硬件资源情况下深度神经网络的稳定性和准确性。
- HMQ: 用于卷积神经网络的硬件友好型混合精度量化块
本文提出了 HMQ,一个基于 Gumbel-Softmax 估计器的混合精度量化块,搜索有限的量化方案空间,以覆盖在边缘设备硬件实现中需要的均匀和具有 2 的幂级别阈值的量化器需求,并在 CIFAR10 和 ImageNet 训练的分类模型 - CVPRAQD: 实现精确量化目标检测
本文提出了一种名为 AQD 的准确量化目标检测解决方案,采用包括卷积层、归一化层和跳跃连接在内的所有层的定点运算,在极低位方案下实现与全精度方案相媲美甚至更好的性能表现。
- CVPR基于对抗知识蒸馏的无数据量化网络
本文提出了一种无需数据的对抗知识蒸馏,通过合成数据来实现数据自由的网络量化,包括多个生成器和多个学生的多样化对抗样本,实现了 (wide) residual networks 和 MobileNet 在 SVHN、CIFAR-10、CIFA - 实用混合精度神经网络的高效比特宽度搜索
本文提出了一种用于网络量化的 Efficient Bitwidth Search(EBS)算法和一种二进制分解算法,以实现不同精度的权重和激活的混合精度卷积,并证明了该方法在 CIFAR10 和 ImageNet 数据集上的表现优于已有方法 - ICCV可微软量化:架起全精度和低比特神经网络的桥梁
本研究提出了 Differentiable Soft Quantization(DSQ)来解决低位量化的不稳定训练和性能降低问题,通过在训练过程中逐渐逼近标准量化值,可以帮助追求精确的反向传播和减少正向传递中的量化损失,同时能在 ARM 架 - AutoQ: 自动化的基于内核的神经网络量化
本论文提出了一种基于分层深度强化学习的自动量化技术 AutoQ,可以自动搜索每个权重核的量化位宽,以及每个激活层的另一个量化位宽,并极大地提高了卷积神经网络的推断性能,同时保持了推断精度。
- 使用二值化神经网络的高效超分辨率
本文探讨了网络二值化在单图像超分辨率中的应用,给出了一种只对残差块中的卷积滤波器进行二值化并采用可学习权重的方法,实验表明该方法在保持重构精度的同时能够显著减小模型大小并提供更高的推理速度。
- 可微神经架构搜索进行卷积网络的混合精度量化
该研究探索了一种新的神经网络压缩方法,通过不同比特宽度的量化不同层并使用可微分神经架构搜索框架进行优化,成功地实现了比现有方法更高的压缩率,模型尺寸缩小 21.1 倍或计算量降低 103.9 倍
- AAAI使用单级和多级量化的深度神经网络压缩
本文提出了两种新的网络量化方法,即高位量化的单层网络量化(SLQ)和极低位量化(三元)的多层网络量化(MLQ),两种方法均在有效利用深度信息方面表现出色。
- ICLR网络量化极限探索
本研究提出了一种基于 Hessian-weighted k-means clustering 和 ECSQ 的网络量化方案,以在达到压缩比约束的前提下最小化网络量化的性能损失,并进行了 LeNet,32 层 ResNet 和 AlexNet