我们提出了 BatchQuant，这是一种稳健的量化器公式，可在数量少得多的 GPU 小时内训练出一种超过 10^{76} 个量化子网的紧凑超网，并首次无需重新训练即可无缝扩展一次权重共享 NAS 超网以支持任意超低位宽混合精度量化策略的子网。

May, 2021

本文提出了一种名为 JASQ 的方法，将神经网络的架构设计与模型压缩两项任务整合到统一框架中，可在考虑模型大小与性能准确性之间的平衡点上使用多目标进化算法搜索，实现高性能适合移动设备的紧凑神经网络模型。实验结果表明，该方法在搜索架构或仅搜索量化策略时优于现有方法。

Nov, 2018

本文介绍了 AdaQAT，一种基于学习的方法，用于在训练过程中自动优化深度神经网络的权重和激活信号的比特宽度，以实现更高效的推断。相比其他方法，AdaQAT 在从头开始训练和微调场景中表现良好，并在 CIFAR-10 和 ImageNet 数据集上使用 ResNet20 和 ResNet18 模型表明我们的方法与最先进的混合精度量化方法竞争力强。

Apr, 2024

APQ 是一种用于在资源受限的硬件上高效进行深度学习推理的方法，通过联合优化神经架构、修剪策略和量化策略来处理设计空间更大的问题，同时利用全精度准确度预测器向量化至量化准确度预测器以大幅提高样本效率，其在 ImageNet 上的实验结果表明其可以以更低延迟 / 能耗降低 2 倍 / 1.3 倍的前提下获得与项代号 MobileNetV2+HAQ 相当的准确性，并比代号为 ProxylessNAS+AMC+HAQ 的分别优化方法实现更高达 2.3％的准确率，同时大幅减少 GPU 时数和 CO2 排放。

Jun, 2020

介绍了现代神经网络中减少计算成本和提高性能的两种量化算法： Post-Training Quantization 和 Quantization-Aware Training。

Jun, 2021

提出一种硬件感知量化神经架构搜索 (HQNAS) 框架，将神经结构搜索和量化方法结合，通过权值共享和比特共享以高效优雅的方式完成。在 CIFAR10 中只需要 4 小时 GPU 时间，能发现出卓越的 NN 策略。同时，我们的方法支持在线学习和持续适应环境。

Oct, 2022

本研究介绍了一种训练低精度神经网络的方法，该方法使用二进制操作代替计算，达到降低内存大小、减少电力消耗的目的。经过 MNIST、CIFAR-10、SVHN、ImageNet 和 Penn Treebank 数据集的测试，结果表明 1 位权重和 2 位激活的量化版本的 AlexNet 能够达到 51% 的准确率，训练过程中也能使用仅有的二进制操作实现损失函数的计算，并在损失部分的代码上进行了优化，使得 QNN 的运行速度能比未优化的 GPU 加速速度快七倍，并且没有影响分类准确性。

Sep, 2016

本文提出一种元学习方法，通过重新定义元学习任务来与量化训练 (QAT) 相结合，实现比特宽度自适应量化的目标，并通过开发基于常规优化或度量的元学习方法，在少样本的情况下可适应任何比特宽度及目标类别。实验结果证明其在多种 QAT 方案中的有效性，在不牺牲精度的前提下，将比特宽度合并到元学习任务中可实现更高的鲁棒性。

Jul, 2022

研究深度神经网络压缩，提出一种自适应损失感知量化方法 (ALQ) 来加速推理并在低资源移动和嵌入式平台上降低存储需求。实验结果表明，该方法在精度和存储方面优于最先进的压缩网络。

Dec, 2019

本文提出了一种用于深度神经网络（DNN）压缩的联合训练方法，以便同时训练量化器和 DNN，以便量化网络权重和激活，并提高量化模型的预测准确性。在 CIFAR-10 和 ImageNet 数据集上进行的全面实验显示，该方法在各种网络结构上都运行良好，超越了以前的量化方法。

Jul, 2018