activation quantization | BriefGPT

关键词activation quantization

搜索结果 - 7

添加前缀注意力节点以缓解大型语言模型量化中的激活值异常
提出了一种名为 CushionCache 的方法，通过防止生成问题标记，来促进每个张量的激活量化，成功解决了 LLMs 的激活离群值问题，并为每个张量的激活量化方法提供了显著的性能提升。
PDF17 days ago
使用激活正则化减轻离群通道对于语言模型量化的影响
准确的量化是语言模型的关键问题之一，我们研究了激活量化中的异常通道现象，并提出了一种调节输入和输出的策略，通过量化感知训练和激活峰度正则化来实现精确的 4 位参数量化。与权重后训练量化相结合，我们的方法可以获得与标准精度基准相竞争的 W4A
PDF3 months ago
AWEQ：适用于大型语言模型的后训练量化与激活权重均衡
大型语言模型具有卓越的性能，但是它们带来了重大的计算和存储成本。用 8 位权重和激活（W8A8）量化和超低比特量化进行权重和激活量化的 AWEQ 方法使两者的量化难度达到平衡，并实现了最大化的性能。
PDF8 months ago
EMNLPLLM-FP4: 4 位浮点数量化变压器
我们提出了 LLM-FP4，在训练后将大型语言模型（LLM）的权重和激活量化为 4 位浮点数值。
PDF8 months ago
ICLRQDrop：一种用于极低位后训练量化的随机丢弃量化方法
本文提出了一种新的方法，即将 activation quantization 纳入 post-training quantization 中，随机放弃激活量化，从而将 PTQ 的极限推向了 2 位。最终结果表明，QDROP 在图像分类、目标
PDF2 years ago
Mesa：用于 Transformer 的节省内存的训练框架
Mesa 是一种针对 Transformers 网络进行训练的内存优化框架，采用精确激活函数和低精度激活函数相结合的方式进行训练，结合头部激活函数的统计学信息对激活函数进行量化，通过对估计运行量的量化进行参数学习以提高训练效率，可在保证计算
PDF3 years ago
针对 2 比特量化神经网络 (QNN) 填补准确率差距的研究
本研究提出了一种针对权重和激活值分别进行的深度学习量化技术，该技术结合了权重量化方案 SAWB 和激活量化技术 PACT，在多个模型和数据集上实现了媲美全精度网络的最新分类精度。
PDF6 years ago