quantization-aware training | BriefGPT

关键词quantization-aware training

搜索结果 - 39

在 CPU 上的扩散模型的有效量化
通过结合量化感知训练和蒸馏方法，我们提出了一种新的扩散模型量化方法，可以在维持高图像质量的同时，在 CPU 上展示出高效推断能力。
PDF8 months ago
QLLM：用于大型语言模型的准确高效低比特量化
通过自适应通道重组技术，QLLM 提出了一种准确高效的低精度模型量化方法，实现了对大规模语言模型的低精度量化，并在 LLaMA-2 上相较于之前最先进的方法提高了 7.89% 的平均准确率。
PDF9 months ago
PB-LLM：部分二元化大型语言模型
本文研究了网络二值化技术在大型语言模型（LLMs）压缩中的应用。通过提出一种新的方法，即部分二值化 LLMs（PB-LLM），我们能够在保持低位量化的同时保持 LLMs 的语言推理能力。我们通过后训练量化（PTQ）和量化感知训练（QAT）的
PDF9 months ago
ICCVGHN-QAT：训练图超网络以预测在未见过的有限精度神经网络中抗量化参数
通过研究我们发现，量化感知训练可以显著提高 4 位量化 CNN 的 GHN 预测参数的精确性，甚至可以让 2 位量化 CNN 的 GHN 预测参数的精确性超过随机结果。这些有希望的结果为未来的研究开辟了新的方向。
PDF9 months ago
海报：自监督量化感知知识蒸馏
本研究提出了一种自监督量化感知知识蒸馏框架 (SQAKD)，可同时最小化 KL-Loss 和离散化误差，显著提升各种最先进的量化感知训练方法的性能。
PDF9 months ago
基于标记比例的逻辑回归蒸馏用于三元权重生成语言模型
通过提出一种称为令牌缩放逻辑蒸馏的知识蒸馏方法，我们对大规模生成式语言模型进行了三值权重量化训练的首次评估，其中困惑度下降不到 1.0，推理任务并无准确性损失。
PDFa year ago
自我蒸馏量化：在基于 Transformer 的语言模型中实现高压缩率
通过后训练量化和量化意识训练来研究 Transformer 语言模型的概括化效果。提出了一种称为自身蒸馏量化（SDQ）的方法，该方法最小化积累的量化误差，并优于基线。将 SDQ 应用于多语言模型 XLM-R-Base 和 InfoXLM-B
PDFa year ago
自适应核心集选择的高效量化感知训练
本文提出一种基于 coreset selection 的 quantization-aware adaptive coreset selection (ACS) 方法，以提高 quantization-aware training 的训练效
PDFa year ago
ACL教师干预：提高超低精度 Transformer 量化感知训练的收敛性
本论文提出了一种名为 Teacher Intervention（TI）的主动知识蒸馏方法，用于快速收敛超低精度预训练 Transformer 的 QAT，并采用逐步干预机制来稳定恢复 Transformer 层的子节，提高模型准确性。
PDFa year ago
基于特征亲和力辅助的无标签数据下深度神经网络知识蒸馏和量化
本文提出了一种特征亲和力辅助的知识蒸馏方法来提高深度神经网络的量化训练，对于提取关键特征和无标签数据压缩模型具有重要意义。
PDFa year ago
量化神经网络实现低精度累计并保证溢出避免
这篇研究论文介绍了一种量化感知训练算法，该算法通过权重归一化约束参数，使用累加器位宽界限来避免数值溢出，在保持模型精度的同时，可以减少累加器的精度，并提高量化神经网络中的稀疏性和可压缩性，从而提高 FPGA 设计效率。
PDFa year ago
EMNLP理解和改善知识蒸馏，针对大型 Transformer 编码器的量化感知训练
本文提出了两种知识蒸馏方法，即注意力映射和注意力输出损失，并探索了两者的统一，以解决注意力重构的不足。实验结果表明，这两种知识蒸馏方法可以在使用小于 2 位的量化权重时，获得具有先进性的精度。
PDF2 years ago
ICML优化剪裁和幅值感知求导以提高量化感知训练
本文提出了一种名为 OCTAV 的递归算法来确定 MSE 最优裁剪标量，基于这个算法，我们在每一步都能得到具有最小量化噪声的 QAT 算法。同时，我们提出了一种新的技术，即大小感知差分，以进一步提高精度，在多项任务中取得了最先进的精度。
PDF2 years ago
量化感知训练中的通道修剪：自适应投影梯度下降缩减分裂方法
提出了一种自适应投影 - 梯度下降收缩分割方法 (APGDSSM)，该方法将基于惩罚的通道剪枝集成到量化感知训练 (QAT) 中。APGDSSM 同时搜索量化子空间和稀疏子空间中的权重，并使用收缩算子和分割技术创建稀疏权重，以及使用 Gro
PDF2 years ago
一次性剪枝：稀疏预训练语言模型
通过结合权重剪枝和模型蒸馏技术，我们提出了一种新的方法，用于训练稀疏的预训练变压器语言模型，这些模型可以快速高效地用于各种自然语言处理任务，并保持其稀疏性，同时我们进一步使用量化感知训练来将这些稀疏模型压缩为 8 位精度。我们证明了我们的稀
PDF3 years ago
CVPR基于锚点的移动端图像超分辨率普通网络
本文研究高效图像超分辨率算法的 8 位量化，提出了一种适用于移动设备的基于锚点神经网络的算法，并采用定量化训练策略，使该模型在保证性能的情况下可以胜过当前同类算法。
PDF3 years ago
一种深度神经网络低比特宽度训练的统计框架
本论文提出了一个用于分析全量化训练算法的统计框架，并探讨了梯度量化对其收敛性的影响。作者开发了两个新的梯度量化器，并展示了这些量化器相对于现有的每个张量量化器具有更小的方差。
PDF4 years ago
针对神经形态应用优化突触神经网络的能耗消耗
该文介绍了将卷积神经网络转化为脉冲神经网络的方法，并探讨了量化感知的训练及优化策略对于能效的影响，实验表明转换后的网络在维持相似准确率的情况下具有更低的能量消耗。
PDF5 years ago
Q8BERT：量化 8 位 BERT
本文介绍了如何在 BERT 的 fine-tuning 阶段进行量化感知的训练，以将 BERT 压缩 4 倍并加速推理速度。
PDF5 years ago