本文提出一种结合网络架构搜索和量化的方法 (OQAT)，通过联合训练网络架构和量化并引入位继承方案来获得更高的量化准确率并在不同位宽下实现了新的最优结果。

Oct, 2020

通过使用多目标搜索算法与轻度训练的预测器相结合，我们展示了在准确性、模型大小和延迟等不同性能目标中，我们的方法在 ViT、BERT、BEiT-3 和 ResNet 等转换器和卷积网络的架构上比各自的基准表现更好，特定网络的性能提升在延迟方面最高达到 4.80 倍，在模型大小方面最高达到 3.44 倍，与全量化 INT8 基准相比准确性不降低。

Dec, 2023

提出一种硬件感知量化神经架构搜索 (HQNAS) 框架，将神经结构搜索和量化方法结合，通过权值共享和比特共享以高效优雅的方式完成。在 CIFAR10 中只需要 4 小时 GPU 时间，能发现出卓越的 NN 策略。同时，我们的方法支持在线学习和持续适应环境。

Oct, 2022

使用基于块的 NAS 方法实现在大规模任务上的量化感知 NAS (INT8 和 FB-MP)，并在 Cityscapes 数据集上展示了显著的结果，找到了比 DeepLabV3 (INT8) 模型小 33%， INT8 模型快 17.6% 的 FB-MP 模型，而不影响任务性能。

Jan, 2024

APQ 是一种用于在资源受限的硬件上高效进行深度学习推理的方法，通过联合优化神经架构、修剪策略和量化策略来处理设计空间更大的问题，同时利用全精度准确度预测器向量化至量化准确度预测器以大幅提高样本效率，其在 ImageNet 上的实验结果表明其可以以更低延迟 / 能耗降低 2 倍 / 1.3 倍的前提下获得与项代号 MobileNetV2+HAQ 相当的准确性，并比代号为 ProxylessNAS+AMC+HAQ 的分别优化方法实现更高达 2.3％的准确率，同时大幅减少 GPU 时数和 CO2 排放。

Jun, 2020

该论文提出了一种神经网络架构搜索方法 —— 神经通道扩展，该方法可以适应不同层对于量化误差的敏感度，并在满足硬件约束的情况下，有选择性地扩展量化敏感的层的通道数，从而实现在 CIFAR10 和 ImageNet 数据集上的 2 位量化最佳精度，并在较小的 FLOPs 和参数大小下取得了迄今为止最高的 ResNet50 Top-1 / Top-5 准确率。

Dec, 2022

本文提出了一种名为 ZeroQ 的新型零 - shot 量化框架，用于量化神经网络而无需访问原始数据，ZeroQ 通过优化一个与网络不同层的批量归一化统计数据相匹配的 Distilled Dataset 来实现。我们在不同的模型上进行了广泛测试，证明 ZeroQ 可以实现比 DFQ 方法更高的精度，具有极低的计算开销。

Jan, 2020

本文提出一种名为 Elastic Quantization Neural Networks（EQ-Net）的一次性网络量化方案，旨在训练鲁棒的权重共享量化超网络。我们探索了一种弹性量化空间，并提出了权重分布正则化损失（WDR-Loss）和群体渐进引导损失（GPG-Loss）以解决弹性量化空间间隙中权重和输出逻辑的分布不一致问题。最后，我们结合了遗传算法和条件量化感知准确性预测器（CQAP），快速搜索超网络中混合精度量化的神经网络。大量实验证明，我们的 EQ-Net 几乎与或甚至更好地超过了静态对应物以及最先进的鲁棒位宽方法。

Aug, 2023

该研究探索了一种新的神经网络压缩方法，通过不同比特宽度的量化不同层并使用可微分神经架构搜索框架进行优化，成功地实现了比现有方法更高的压缩率，模型尺寸缩小 21.1 倍或计算量降低 103.9 倍

Nov, 2018

提出了一种新的框架，用于在限制条件下寻找最优的量化神经架构并实现在给定的硬件规格上，该框架使用 FPGAs 来实现和测试设计并在 CIFAR10 任务中提高了 18％至 68％的准确性。

Oct, 2019