Jan, 2025

通过自适应速率深度任务导向矢量量化进行动态链路上的远程推断

HTML
PDF
TL;DR本研究解决了远程推断中在动态链路上推断因通信通道速率限制而面临的数据压缩问题。提出的自适应速率任务导向矢量量化（ARTOVeQ）机制，能够在不同通道条件下动态调整其压缩率，并在多个分辨率下高效传输高维数据。研究结果表明，ARTOVeQ可以显著提高远程深度推断的速度和效率，有助于逐步改善推断质量。
发现论文，激发创造
  • 稀疏卷积神经网络的聚焦量化

    本文提出一种基于二次幂值的、专注于稀疏CNN的量化策略，并结合无损编码构建一种高压缩比、计算成本低、准确率几乎无损的压缩管线，在ResNet-50网络上实现18.08x CR的压缩效果，同时也证明更硬件有效。

    Mar, 2019

  • And the Bit Goes Down: 重新审视神经网络量化

    本文提出一种矢量量化方法，以减小卷积神经网络架构的存储占用，能以较小的内存占用提供高精度的图像识别。

    Jul, 2019

  • 边缘推理中学习面向任务的通信:一种信息瓶颈方法

    本文提出了一种基于学习的通信方案，综合优化特征提取，源编码和信道编码，采用变分信息瓶颈框架构建可行的上界，使用稀疏诱导分布作为变分先验，提高边缘设备和强大边缘服务器的传输性能和速度。

    Feb, 2021

  • 通过端到端 4 位量化加速递归神经网络转录器的推断和语言模型融合

    本研究探讨了量化技术对于循环神经网络传输器（RNN-T）推论过程的加速作用，通过量化训练（QAT）重新训练全模型，应用自定义的量化方案并使用大型beam widths进行假设搜索，实现了RNN-T的端到端量化，并取得了较好的性能以及与浮点精度相比7.6倍的压缩比。

    Jun, 2022

  • AlphaTuning: 大规模预训练语言模型的量化感知参数高效适应

    本研究旨在将后训练量化与仅对定向任务的一些部分进行量化的精细调整相结合，以使模型更加快速且效率更高，我们提出了 AlphaTuning 控制模型的大小，通过二进制编码量化、调整二进制参数和针对下游任务进行唯一的倍数调整，证明我们的方法在11种下游任务上使用4位或更高的量化精度时，仅使用总参数数量的1/10进行细调。

    Oct, 2022

  • 基于低于4位整数量化的大规模压缩语言模型记忆高效调优

    提出了一种基于量化的参数高效微调方法 PEQA，通过一个双阶段的策略将每个全连接层的参数矩阵量化成低比特整数矩阵和标量向量，然后对每个下游任务的标量向量进行微调，从而在模型压缩和加速推理的同时，实现了快速微调和高效任务切换，并在大型语言模型上进行了全面的实验。

    May, 2023

  • 通过可共同学习的码书和映射压缩网络的内存占用

    通过量化、码书和联合可学习码书等方法，本文提出了一种有效的深度神经网络近似方法，使得Llama 7B网络可以在5年前的智能手机上以2GB的内存占用进行加载。

    Sep, 2023

  • KV缓存每通道1位：带耦合量化的高效大语言模型推断

    通过Coupled Quantization (CQ)技术，我们能够更信息效率地对大模型(Large Language Models)的KV缓存进行压缩，从而提高效率并保持模型质量。

    May, 2024

  • VPTQ：大规模语言模型的极低比特向量后训练量化

    本研究解决了大规模语言模型（LLM）在部署和推断时面临的内存和带宽限制问题。我们提出了一种全新的向量后训练量化（VPTQ）方法，通过二阶优化改进量化算法，并提出有效的码本初始化算法，从而在达到极低比特量化的同时提高了模型准确性。实验结果表明，VPTQ在多个模型上显著降低了量化困惑度，并提高了推断吞吐量。

    Sep, 2024

  • 无忧量化

    本研究解决了当前量化方法复杂且敏感的问题，提出了一种新的量化方法“无忧量化”，该方法通过在量化网络中加入轻量级结构来减少信息损失，保证了速度、准确性和通用性。实验表明，该方法在多种任务中表现出色，显著提高了量化模型的准确性和适应性，为新型量化范式的设计提供了有价值的启示。

    Nov, 2024