边缘计算和微控制器 (MCUs) 上的量化和对抗示例在深度边缘上的有效性进行了实证评估。量化增加了决策边界的点距离，并导致某些攻击估计的梯度爆炸或消失，同时量化能够增强或减弱噪声，导致梯度失调。尽管输入预处理防御在小扰动上效果显著，但在扰动增加时表现不佳，而基于训练的防御方法可以增加决策边界的平均点距，并且在量化后仍然有效，但我们认为基于训练的防御仍需解决量化偏移和梯度失调的问题以对抗对 QNNs 的敌对示例可迁移性。

Apr, 2024

本论文介绍了一种将 QNN 推理操作转换为整数推理操作的流程，以及一些基于比特串处理技术的方法，以常见的按位操作有效地部署 QNN。作者展示了 QNN 在移动 CPU 上的潜力，并提供了一个比特串矩阵乘法库。

Sep, 2017

通过应用数据压缩技术来减少数据传输，从而提高在内存受限设备上量化化的大型语言模型推理的速度。

Mar, 2024

本研究提出了一种针对处理内存 (PIM) 量化的方法 (PIM-QAT)，通过分析训练动态，引入反向传播和前向传播重缩放技术，提出批归一化 (BN) 校准和调整精度训练等技术，有效地解决了硬件约束引起的非理想因素，实现了 PIM 系统中具有可比性的推理精度。

Sep, 2022

本文提出了一种量化方案，通过整数运算进行推断，以提高在移动设备上的效率，并设计了一种训练程序来维护量化后的模型精度。该方案在 MobileNets 模型中展现了显著的改进，在 ImageNet 分类和 COCO 检测等任务上获得了良好的结果。

Dec, 2017

本文介绍了 CompVQC 框架，一种量子神经网络（QNN）压缩的系统性方法，使用交替方向乘子法（ADMM）的压缩算法，展示了 CompVQC 在减少电路深度（超过 2.5%）且精度损失极小（<1%）方面的优越性，另外 CompVQC 也提高了 QNN 在噪声量子设备上的鲁棒性。

Jul, 2022

卷积神经网络（CNN）的能效和内存占用取决于权重量化策略和映射，通过启用丰富的混合量化方案，我们可以找到更有效利用硬件资源的映射，从而在精度、能耗和内存要求之间取得更好的平衡。通过扩展 Timeloop 工具，提出了一种高效的多目标优化算法，实证了该方法在两种 CNN 和两种加速器上的有效性，并证明了相对于未经精心优化的 CNN 实现，可以实现高达 37% 的能量节省，而无需降低精度。

Apr, 2024

深度神经网络（DNNs）在许多人工智能（AI）任务中被广泛使用，为了解决其部署带来的巨大的内存、能量和计算成本挑战，研究人员开发了各种模型压缩技术，最近还有越来越多的研究关注定制化 DNN 硬件加速器以更好地利用模型压缩技术，此外，保护安全和隐私对于部署 DNNs 至关重要，我们的研究综述首先涵盖主流的模型压缩技术，如模型量化、模型修剪、知识蒸馏和非线性运算优化，然后介绍了设计可以适应高效模型压缩方法的硬件加速器的最新进展，此外，我们还讨论了如何将同态加密集成到安全 DNN 部署中，最后，我们讨论了硬件评估、泛化和各种压缩方法的集成等几个问题，总体来说，我们旨在从算法、硬件加速器和安全性角度提供高效 DNN 的整体概况。

May, 2024

本文介绍了一种利用分层、分参数类型的自动量化过程来设计深度神经网络模型的方法，旨在使模型能够在芯片上进行高精度、纳秒级推理和完全自动化部署。这对于 CERN 大型强子对撞机中的事件选择过程至关重要，其中资源严格限制，需要一种纳秒级的推理和降低 50 倍的资源消耗。

Jun, 2020

该研究提出了一种名为量化卷积神经网络的模型，旨在通过量化卷积层中的滤波器核和全连接层中的权重矩阵，实现计算效率的提升和存储内存开销的降低，相对于非量化模型，该模型在 ILSVRC-12 基准测试中达到 4~6 倍的加速和 15~20 倍的压缩，仅有 1% 左右的分类准确率损失，并且甚至可以在移动设备上在一秒内精准分类照片。

Dec, 2015