quantization methods | BriefGPT

关键词quantization methods

搜索结果 - 19

LLMEasyQuant - 一个易于使用的 LLM 量化工具包
LLMEasyQuant 是一个旨在简化量化部署的用户友好的包，适合初学者学习。
PDF4 days ago
I-LLM：针对完全量化低位大型语言模型的高效整数推断
该研究论文通过提出一种新型的整数化后训练量化框架 (I-LLM)，解决了大语言模型在部署边缘和云设备上仍需要大量浮点运算的问题。实验证明，I-LLM 在保持准确性的前提下，可以以 W4A4 进行操作，优于其他非整数量化方法。
PDFa month ago
PV-Tuning：用于极高 LLM 压缩的超越直通估计的方法
该研究提出了 PV-Tuning，一个对于极端压缩语言模型的量化感知微调策略的表示无关框架，通过在实践中应用于 1-2 位矢量量化，PV-Tuning 在高性能模型如 Llama 和 Mistral 中优于先前的技术，实现了 Llama 2
PDFa month ago
面向高效 DNN 推理的分布感知对数 Posit 编码算法硬件协同设计
本研究介绍了一种基于对数正数（LP）的自适应、硬件友好的数据类型，通过参数化 LP 位域，动态适应深度神经网络（DNN）的权重 / 激活分布。我们还开发了一种基于遗传算法的 LP 量化（LPQ）框架，通过新颖的全局 - 局部对比目标减小量化
PDF4 months ago
IntactKV：通过保持关键标记完整来提高大型语言模型量化
该研究揭示了大语言模型中一种被忽视的异常值类型，这些异常值在输入的初始符号上分配了大部分的注意力得分，并且通过提出 IntactKV 的方法从完全精确的模型中无损生成了初始符号的 KV 缓存，进而提升了量化的大语言模型的性能。
PDF4 months ago
评估量化的大型语言模型
本论文通过对 PTQ 技术在 11 个模型家族的综合评估，系统总结了量化对权重、激活函数和 KV Cache 的影响，提供了应用量化技术的建议，指出了未来的研究方向。
PDF4 months ago
APTQ：针对大型语言模型的注意力感知后训练混合精度量化
通过引入 APTQ（关注感知的后训练混合精度量化），该研究提出了一种在大规模语言模型上进行混合精度量化的方法，利用 Hessian 迹作为灵敏度指标，以实现在模型性能保持的前提下进行精度降低，并取得了优于以往量化方法的效果。
PDF4 months ago
在分布式学习中管理重尾梯度的改进量化策略
我们提出了一种专门针对重尾梯度进行压缩的新方案，该方案将梯度截断和量化有效地结合在一起，并在通信受限的分布式随机梯度下降框架中进行了巧妙实现，我们通过理论分析和与其他基准的比较实验证明了该方法在管理分布式学习环境中的重尾梯度方面的有效性。
PDF5 months ago
典型案例分析中的权重量化对模型学习的影响
本文研究了大规模数据分析模型中使用的量化方法及其超参数选择。通过采用统计物理学中的典型案例分析，特别是副本方法，我们探索了超参数对简单学习模型的量化产生的影响，并得到了三个关键发现：（i）在位数较少和量化宽度较大的情况下会出现不稳定的超参数
PDF5 months ago
ZeroQuant (4+2): 通过一种基于 FP6 的新策略重新定义 LLMs 量化，用于不同的生成任务
本研究审查了大型语言模型中的 4 位量化方法，重点关注 GPTQ 在零样本任务中的过拟合问题和限制。我们扩展了任务范围，涵盖了生成类别，如代码生成和抽象概括，发现 INT4 量化在其中显著性能不佳。然而，转向高精度格式如 FP6 却面临挑战
PDF7 months ago
可训练的等效转换：用于 LLMs 的量化
这篇论文介绍了一种可训练的等价转换方法，能够在保持模型输出的 FP32 精度的情况下，利用低精度量化，特别是 3 位和 4 位的权重量化来满足现代架构的计算需求，该方法在训练过程中轻量级且对推断过程没有计算开销，与当前最先进方法的结果相媲美
PDF8 months ago
高效的后训练量化与 FP8 格式
最近在深度学习方法中，如 LLMs 和 Diffusion 模型的最新进展已经带来了对改进量化方法的需求，以满足这些现代架构的计算需求，并保持精确性。为了实现这一目标，我们研究了在 75 种不同的网络架构中跨越各种任务（包括机器翻译、语言建
PDF9 months ago
ICCV使用量化感知训练的高效神经 PDE 求解器
近年来，神经网络应用于求解偏微分方程，作为传统数值方法的替代品，这在这个有百年历史的数学领域中被认为是潜在的范式转变。然而，从实际应用的角度来看，计算成本仍然是一个重要的瓶颈。在神经 PDE 求解器中，我们采用了最先进的量化方法来降低计算成
PDFa year ago
4 位精度的必要性：k 位推断缩放定律
研究语言模型在压缩模型时的精度与模型大小之间的平衡，发现在总模型位和零 - shot 准确度方面，{4 位} 精度几乎普遍最优。
PDF2 years ago
ECCVPalQuant: 在低精度加速器上加速高精度网络
该研究提出了一种名为 PArallel Low-precision Quantization (PalQuant) 的方法，其通过学习从头开始的并行低精度表示来逼近高精度计算，并且使用循环洗牌模块提升并行低精度组之间的信息通信，与现有量化方
PDF2 years ago
后训练量化中的注意力轮
本研究提出了一种名为 Attention Round 的新型量化方法，利用密度函数实现了参数映射，使得小样本量即可完成量化加速，并通过损失编码长度对模型的不同层进行位宽分配来解决混合精度量化问题，该方法在不同模型上的实验结果表明具有良好的量
PDF2 years ago
MM联邦学习上行和下行通信的设计与分析
本文重点研究了有关物理层量化和传输方法在无线联邦学习中的设计和分析，并通过实验评估了 FL 定制上行和下行通信设计的巨大优势，其中包括 1 位量化（浮点基线带宽的 3.1％）在 MNIST 上实现了 99.8％的浮点基线准确度，代表着作者所
PDF4 years ago
EMNLPTernaryBERT: 知识蒸馏感知的超低比特 BERT
本文提出 TernaryBERT，在 fine-tuned BERT 模型中采用了三元权重化，通过近似法和损失感知方法研究了 BERT 不同部分的三元化粒度，并在训练过程中利用知识蒸馏技术来减少低位容量引起的精度下降，实验证明 Ternar
PDF4 years ago
AdaptivFloat：一种基于浮点数的数据类型，用于弹性深度学习推理
AdaptivFloat 是一种面向深度学习的浮点数表示格式，能够动态地最大化和最优地削减其可用动态范围，从而创建神经网络参数的忠实编码。该方法在非常低的精度下（≤8 位）比块浮点、统一、IEEE 类浮点或 posit 编码产生更高的推理精
PDF5 years ago