对大型语言模型的量化技术进行研究，发现4位量化的语言模型可以在大部分基准测试中保持与非量化模型相当的性能，并且困惑度可以作为量化语言模型的代理度量。然而，量化也会影响推断速度，因此在优化解码速度和内存消耗方面需要进行大量工程努力和硬件支持。

Feb, 2024

量化作为一种改善大型语言模型的存储和计算效率的有前途的技术，本研究以新的扰动视角，研究了量化与大型语言模型性能之间的关系，并发现了扰动特性与性能之间的联系，提供了改善模型量化鲁棒性的潜在解决方案，并在实验证明了基于这一视角的简单非均匀量化方法在权重和激活量化方面都能达到较小的性能损失，以此改善大型语言模型的效率而不牺牲性能。

Mar, 2024

通过 quantization 技术，结合 SmoothQuant 和 GPTQ 两种 post-training 技术，将模型量化为 MX 格式，能够显著减小优化型模型大小至多 4 倍，提高 LLaMA 模型大小至多 3 倍，同时仅仅增加 1-3% 的困惑度。

May, 2024

使用全面的基准套件，我们探索了大规模语言模型在量化过程中的泛化能力以及校准数据分布对其影响，并且发布了一个模块化设计的工具包来帮助未来的研究。

Jun, 2024

本文研究了在达到特定准确度或困惑度目标时，混合量化对大型语言模型所需的高精度计算量。提出了量化比这一关键指标，通过实验发现，规模越大的模型在保持性能方面表现越佳，并且采用更细粒度的混合精度量化可进一步提升量化比，这为未来的AI硬件设计和高效AI算法的发展提供了重要见解。

Oct, 2024

本文针对后训练压缩后大型语言模型的质量不可预测问题，进行了系统的实证研究，探讨了多种低精度张量数据类型的量化效果。研究发现，与局部损失景观特征相关的关键规模因子可以显著改善量化模型的性能预测，提供了新颖的统计模型框架，为这一领域填补了空白。

Oct, 2024

本研究解决了后训练阶段量化大型语言模型（LLMs）性能的不确定性问题，通过系统的实证研究确定了关键的缩放因素。这些因素帮助我们建立了一个统计模型，可以合理预测量化LLMs的表现，具有重要的实用价值。

Oct, 2024

本研究解决了大型语言模型（LLM）量化过程中准确性与性能之间的权衡问题。通过对FP8、INT8和INT4等不同量化格式的全面实证研究，我们提出了一些量化改进，取得了最新的准确性恢复结果。关键发现表明，适当调整的INT8量化仅会导致1-3%的低准确性下降，为量化LLM的实际部署提供了实用指南。

Nov, 2024

本研究解决了大语言模型在资源受限的物联网设备和嵌入式系统上部署的计算挑战，探讨了量化技术在此方面的应用。通过深入分析量化的数学理论及其在大语言模型中的多种实现方法，研究表明量化技术有效降低了模型大小并加速了推理过程，对提高资源利用效率具有深远的影响。

Oct, 2024

本研究针对大型语言模型的优化问题，评估了后训练量化（PTQ）和量化感知训练（QAT）两种量化技术。研究提出了一种新的理论框架，可以通过层灵敏度和权重方差来推导最佳比特分配策略，实验表明该方法可在显著降低模型大小和计算成本的同时保持性能。最显著的发现是，该量化方法在边缘设备上实现了大幅度的吞吐量提升和功耗降低。

Nov, 2024