Sep, 2023

通过可共同学习的码书和映射压缩网络的内存占用

PDF
TL;DR通过量化、码书和联合可学习码书等方法，本文提出了一种有效的深度神经网络近似方法，使得 Llama 7B 网络可以在 5 年前的智能手机上以 2GB 的内存占用进行加载。
deep neural networksquantizationcodebooksmemory footprint reductionjointly learnable codebooks
发现论文，激发创造
  • 深度组合编码学习压缩词向量

    该论文提出了一种使用少量基向量构建嵌入式编码、使用 Gumbel-softmax 技巧直接学习离散码表的自然语言处理模型压缩方法，并在情感分析和机器翻译任务中实现了 98% 的压缩率，从而达到在不影响性能的前提下减少内存占用的目的，该方法不需要改变网络结构且具有语言无关性。

    Nov, 2017

  • 模型压缩作为约束优化的一种形式，以神经网络为例。第二部分：量化

    通过使用带有 K 个条目的码簿进行实值权重的量化，我们提出了一种新方法，该方法基于模型压缩作为约束优化框架，交替进行连续权重的网络学习和权重量化（或二值化 / 三值化）的步骤，以便在量化网络的损失上收敛到局部最优解。

    Jul, 2017

  • 深度压缩：剪枝、量化训练和霍夫曼编码压缩深度神经网络

    该论文介绍了一种名为 “深度压缩” 的技术，通过三阶段的网络压缩流程 —— 剪枝、量化和霍夫曼编码 —— 可以将神经网络模型的存储资源需求减小 35 到 49 倍，而同时不影响网络的准确性，该技术可以在嵌入式系统中使用，可以极大地提升模型的应用性能。

    Oct, 2015

  • 深度神经网络在线压缩

    本文介绍了一种新的深度神经网络压缩方法，在学习阶段增加额外的正则化项来减小全连接层的参数量，并结合 PQ 权重的量化以更节约存储空间。在 MNIST 和 CIFAR10 数据集上进行评估，与现有方法相比，压缩率显著提高。

    Sep, 2015

  • And the Bit Goes Down: 重新审视神经网络量化

    本文提出一种矢量量化方法，以减小卷积神经网络架构的存储占用，能以较小的内存占用提供高精度的图像识别。

    Jul, 2019

  • 可学习的压缩量化技术用于精确低比特神经网络

    本文提出了一种可学习的压缩量化方法 (LCQ), 该方法能够灵活地通过优化模型权重和可学习的压缩函数来控制权重和激活的压缩级别，从而优于传统的最先进方法，并缩小量化模型与全精度模型之间的差距。

    Mar, 2021

  • LCQ: 基于低秩码本的大语言模型量化

    大型语言模型在许多任务中展现出有希望的性能，然而，高存储和计算成本成为部署大型语言模型的挑战。本文提出了一种新的称为基于低秩码簿的量化方法（LCQ）用于大型语言模型的权重量化，通过采用秩大于一的低秩码簿，LCQ 在基本不增加存储成本的情况下能够取得比现有方法更好的准确性。

    May, 2024

  • 协作智能的神经网络特征张量轻量化压缩

    本研究介绍了一种轻量级的压缩技术，用于在边缘设备上进行代码的分割，仅针对深度神经网络中的激活，而且不需要任何重新训练。当应用于流行的对象检测和分类深度神经网络时，能够将 32 位浮点激活压缩到 0.6 至 0.8 位，同时保持精度损失不到 1％。

    May, 2021

  • 量化 DNN 时代的魔法

    本文提出了一种量化感知训练的方法，通过引入一种独立于小批量大小的新型规范化（Layer-Batch Normalization）和标准化权重的缩放环夹函数对权重进行量化，同时对激活函数使用同样的函数进行量化，并应用替代梯度来训练模型，实验证明我们的量化方法可以在最小的准确性降低下实现。

    Mar, 2024

  • 深度神经网络加速器中的量化和映射协同探索

    卷积神经网络（CNN）的能效和内存占用取决于权重量化策略和映射，通过启用丰富的混合量化方案，我们可以找到更有效利用硬件资源的映射，从而在精度、能耗和内存要求之间取得更好的平衡。通过扩展 Timeloop 工具，提出了一种高效的多目标优化算法，实证了该方法在两种 CNN 和两种加速器上的有效性，并证明了相对于未经精心优化的 CNN 实现，可以实现高达 37% 的能量节省，而无需降低精度。

    Apr, 2024