使用张量分解和量化相结合的方法，通过交替方向乘数法来压缩神经网络的权重，实现在保持预测质量的同时减少参数和计算量，并展示出与现有后训练量化方法相比的竞争性结果和高灵活性的优势。

Aug, 2023

本文考虑使用权重量化压缩深度网络，将最近提出的有损权重二值化方案推广到三值化，并在前馈和循环神经网络上进行实验，发现该方案优于现有的权重量化算法，精度与全精度网络相当或更高。

Feb, 2018

本文提出了一种快速随机算法来对完全训练的神经网络权重进行量化，建立了全网络错误边界，证明了过参数化程度增加时相对平方量化误差呈线性衰减，同时展示了在每个权重上仅使用 O (log (log N)) 位可以达到等同于无穷字母表情况下的错误边界。

Sep, 2023

神经网络在各种应用中取得了巨大的进展，但需要大量的计算和内存资源。网络量化是一种强大的技术，用于压缩神经网络，使得人工智能的部署更加高效和可扩展。最近，再参数化 emerged 作为一种有前途的技术来提高模型性能，同时减轻各种计算机视觉任务的计算负担。然而，当在重新参数化的网络上应用量化时，精度显著下降。我们确定主要挑战来自原始分支之间权重分布的大变化。为了解决这个问题，我们提出了一种粗细权重拆分（CFWS）方法来减少权重的量化误差，并开发了一种改进的 KL 指标来确定激活的优化量化尺度。据我们所知，我们的方法是第一个能够在重新参数化的网络上进行后训练量化的工作。例如，量化的 RepVGG-A1 模型仅损失了 0.3% 的准确性。

Dec, 2023

本文提出一种名为 “Weight Fixing Networks” 的新方法，通过结合多种技巧，如无损全网络量化、聚类代价等，旨在实现压缩深度学习模型中唯一参数数量的最小化，实验证明该方法优于现有压缩方法。

Oct, 2022

通过对权重的重新排列，利用矢量量化方式压缩多层神经网络以在低性能计算平台上运行。在图像分类、目标检测和分割等任务中，相对于现有技术水平，可以将压缩后网络的性能损失降低 40％至 70％。

Oct, 2020

近年来，硬件加速神经网络在边缘计算应用中引起了重视。在各种硬件选项中，交叉阵列为神经网络权重的高效存储和操作提供了有希望的途径。然而，从经过训练的浮点模型转向硬件约束的模拟体系结构仍然是一个挑战。在这项工作中，我们将一种专为这种体系结构设计的量化技术与一种新颖的自校正机制相结合。通过利用双交叉栏连接来表示单个权重的正负部分，我们开发了一种算法来近似一组乘法权重。这些权重以及它们的差异旨在以最小的性能损失来表示原始网络的权重。我们使用 IBM 的 aihwkit 实现了这些模型，并随时间评估了它们的效力。我们的结果表明，当与芯片上的脉冲发生器配对时，我们的自校正神经网络在性能上与那些经过模拟感知算法训练的网络相当。

Sep, 2023

介绍了一种数据自由的量化深度神经网络方法，采用固定 8 位定点量化的方式来提高计算效率，并且通过处理激活函数中的比例等变性和纠正误差偏差来提高性能和准确度，可应用于常见的计算机视觉架构和任务中，以 API 调用的形式提高量化模型的性能和表现。

Jun, 2019

本研究提出了一种针对神经网络量化的方法，该方法通过量化权重来降低计算成本、内存占用和功耗，并促进权重的稀疏性，使用本方法在 ImageNet 上测试显示准确性的损失很小。

Jan, 2022

本研究分析了前馈深度神经网络 (FFDNN) 和卷积神经网络 (CNN) 的重训练对量化网络的影响，通过控制网络复杂度，发现高度复杂的 DNN 能够吸收严格的重量化影响并通过重训练提高性能，在硬件资源受限时提示了网络大小和精度之间的折衷。

Nov, 2015