Jun, 2024

Q-S5：朝向量化状态空间模型

PDF
TL;DR探索量化对 S5 模型的影响以及将其部署到边缘和资源受限平台的有效性。使用量化感知训练（QAT）和事后量化（PTQ）系统评估了 SSM 在不同任务上的量化灵敏度，研究结果表明，循环权重低于 8 位精度时，大多数任务的性能显著下降，而其他组件可以进一步压缩而不会引起显著的性能损失。此外，研究还发现 PTQ 在基于语言的任务上表现良好，而其他任务则需要 QAT。该研究为高效和硬件优化的 SSM 的持续发展提供了必要的见解。
发现论文，激发创造
  • SQUAT: 循环脉冲神经网络中具有状态的量化感知训练

    使用权重量化和量化感知训练 (QAT) 技术，研究了在功耗较低的神经网络中，通过为状态变量进行量化以提高推断性能的效果，并发现将量化级别密集分布在阈值附近可以提高准确性。在多个数据集上进行的实验评估表明，QAT 和状态量化训练 (SQUAT) 相结合能最大程度提高性能，而单独使用 QAT 效果最明显，这些趋势一致性地出现在所有数据集上。

    Apr, 2024

  • LongVQ: 基于结构化记忆的长序列建模与向量量化

    长序列模型中，使用了 LongVQ 方法以更有效地利用向量量化技术来压缩全局抽象，并以线性时间计算注意力矩阵，有效地解决长距离依赖问题。

    Apr, 2024

  • RAND：针对量化 Seq2seq 模型的鲁棒性感知范数衰减

    本文提出了一种低复杂度的量化感知训练方法，以将 4 位序列到序列模型应用于语音识别数据集，并在模型精度方面优于常见的学习比例尺和裁剪方法。

    May, 2023

  • 潜在扩散模型的高效量化策略

    本研究提出了一种高效的量化策略，利用信噪比（SQNR）作为评估指标，将相对量化噪声视为噪声，识别模型中的敏感部分，并提出了既包括全局策略又包括局部策略的高效量化方法。实验结果表明，实施全局和局部策略能够高效地量化并有效地压缩 LDMs。

    Dec, 2023

  • 大型语言模型的后训练量化综合研究

    通过数万次的零 - shot 实验，我们对后期训练量化 (PTQ) 的各种组成成分和效应进行了全面的研究，发现细粒度量化和 PTQ 方法是获得良好准确性所必需的，并且粗粒度量化的高比特位（例如，5 比特）比非常细粒度量化的低比特位（例如，4 比特）更强大。

    Mar, 2023

  • 关于资源受限的 FPGA 上基于时间序列 Transformer 模型的量化感知训练研究

    本研究探讨在时间序列 Transformer 模型上的量化感知训练（QAT），并提出了一种新颖的自适应量化方案，在 QAT 阶段动态选择对称和非对称方案。我们的方法证明了将量化方案与实际数据分布匹配可以减少计算开销同时保持可接受的精度。此外，我们的方法在应用于真实数据和混合精度量化时具有鲁棒性，其中大部分对象被量化为 4 位。我们的发现为模型量化和部署决策提供指导，同时为进一步发展量化技术奠定基础。

    Oct, 2023

  • 评估量化的大型语言模型

    本论文通过对 PTQ 技术在 11 个模型家族的综合评估，系统总结了量化对权重、激活函数和 KV Cache 的影响，提供了应用量化技术的建议，指出了未来的研究方向。

    Feb, 2024

  • QLLM：用于大型语言模型的准确高效低比特量化

    通过自适应通道重组技术，QLLM 提出了一种准确高效的低精度模型量化方法，实现了对大规模语言模型的低精度量化，并在 LLaMA-2 上相较于之前最先进的方法提高了 7.89% 的平均准确率。

    Oct, 2023

  • 迈向超大规模 Transformer 的下一级后训练量化

    本文提出了一种新颖的 PTQ 算法 aespa，通过逐层量化实现高效性，同时考虑跨层依赖以保留注意力分数，通过对多种语言模型的广泛实验和复杂度分析，证明了 aespa 在量化 Transformer 模型时具备准确性和高效性。

    Feb, 2024

  • LLM 的低秩量化感知训练

    大型语言模型经常遇到计算和存储需求增加的挑战，为此我们提出了一种名为 LR-QAT 的轻量级、存储高效的量化感知训练算法，通过使用低秩辅助权重、固定点或双包整数的强制转换运算符以及检查点等组件，我们可以在不牺牲预测性能的情况下节省内存，该方法可应用于多种量化设置并与多种 PTQ 技术无缝结合，有效提升模型性能并在内存使用上达到与全模型 QAT 相当的水平。

    Jun, 2024