Aug, 2023

深度神经网络压缩的量化可知因式分解

PDF
TL;DR使用张量分解和量化相结合的方法，通过交替方向乘数法来压缩神经网络的权重，实现在保持预测质量的同时减少参数和计算量，并展示出与现有后训练量化方法相比的竞争性结果和高灵活性的优势。
tensor decompositionquantizationneural networkspost-trainingtradeoff
发现论文，激发创造
  • 相同但不同 - 通过权重因式分解恢复神经网络量化误差

    本研究利用神经网络中存在的某种自由度，提出了一种基于因式分解的量化神经网络的方法，并证明正确的因式分解能够显著降低量化神经网络的性能损失，在多个网络上取得了最佳效果。

    Feb, 2019

  • 基于张量分解的 DNN 模型压缩及优化框架

    本文提出一种基于张量分解的模型压缩系统，采用交替方向乘子法进行优化求解。该系统适用于卷积神经网络和循环神经网络，可大幅降低计算量和参数量，并保持较高的准确性。

    Jul, 2021

  • 二值化知识图谱嵌入

    本文介绍了一种用于知识图谱补全的量化张量分解方法，通过在优化问题中引入量化函数，以二进制替换浮点值来减少模型大小，成功在保持任务性能的同时减少了一个数量级以上的模型大小。

    Feb, 2019

  • 利用渐进式 ADMM 在 DNN 中实现极低比特数和无损准确性

    通过 ADMM 算法的系统框架，延伸了基于 ADMM 的神经网络权重量化方法，提出了一种逐步递进的神经网络权重量化方法，可实现更进一步的权重量化，并通过实验证明了优越的性能。

    May, 2019

  • ADMM-NN: 使用交替方向乘积算法的 DNN 的算法硬件协同设计框架

    研究对于 DNN 模型的压缩有两类深入了解，如权重修剪和量化；文章研究提出了第一个基于 ADMM 的 DNN 算法硬件协同优化框架 ADMM-NN，该框架可以最大化的提高优化性能以达到更高的 DNN 模型压缩比，并且在不损失准确性的情况下可以达到比以往更好的性能。

    Dec, 2018

  • 使用 ADMM 实现 DNN 权重剪枝和权重聚类 / 量化的统一框架

    本文利用优化理论中的交替方向乘法器方法，发展了深度神经网络权重剪枝和聚类 / 量化的统一、系统的框架，旨在充分利用冗余，提高 DNN 性能。我们采用多种技术来进一步提高这一框架的性能，并实现了在 LeNet-5、AlexNet 和 VGGNet 等模型上的显著改善。

    Nov, 2018

  • 渐进式 DNN 压缩：使用 ADMM 实现超高剪枝和量化率的关键

    通过 ADMM（Alternating Direction Methods of Multipliers）方法，本文提出了一种新的基于 DNN 模型的结构压缩框架，实现了在不损失精度的情况下对 Lenet-5，AlexNet 和 ResNet-50 模型分别达到 246x，36x 和 8x 的权重剪枝，并且在 AlexNet（ImageNet）中 61x 的权重剪枝只导致了细微精度下降，还引导出了重要的基于 ResNet 和 MobileNet 模型的权重剪枝结果以及全层次二进制化的 LeNet-5 和 ResNet 等。

    Mar, 2019

  • 利用矢量量化压缩深度卷积网络

    本文探讨信息理论中的向量量化方法，用于压缩卷积神经网络中的参数，结果表明针对最消耗存储的稠密连接层使用向量量化方法比现有的矩阵分解方法更加高效，仅使用最先进的 CNN 模型在 ImageNet 挑战赛的 1000 分类任务中，即使损失 1% 的分类准确率，也能获得 16-24 倍的网络压缩优化。

    Dec, 2014

  • 置换、量化和微调：神经网络的高效压缩

    通过对权重的重新排列，利用矢量量化方式压缩多层神经网络以在低性能计算平台上运行。在图像分类、目标检测和分割等任务中，相对于现有技术水平，可以将压缩后网络的性能损失降低 40％至 70％。

    Oct, 2020

  • COMQ：一种免反向传播的用于后训练量化的算法

    采用了一种创新的 PTQ 算法 COMQ，通过逐层坐标最小化重构误差，使得精简后的模型在不损失原始准确性的情况下高效部署

    Mar, 2024