通过使用块量化技术，本研究实现了基于大型语言模型（LLMs）的几乎无损6位量化，与浮点数基准相比算术密度增加了19倍，内存密度增加了5倍，超过了之前8位量化的先前技术。同时，介绍了子8位LLM量化的关键见解，包括激活和权重分布之间的不匹配、最佳的微调策略，以及LLMs统计属性中固有的较低量化粒度。该研究提出的框架将在发表后开源。

Oct, 2023

对大型语言模型的量化技术进行研究，发现4位量化的语言模型可以在大部分基准测试中保持与非量化模型相当的性能，并且困惑度可以作为量化语言模型的代理度量。然而，量化也会影响推断速度，因此在优化解码速度和内存消耗方面需要进行大量工程努力和硬件支持。

Feb, 2024

本研究提出了EasyQuant，这是一种训练免费且独立于数据的权重量化算法，旨在实现对大型语言模型（LLMs）的几乎无损量化性能，且算法运行速度比依赖于数据的方法快10倍以上。

Mar, 2024

量化作为一种改善大型语言模型的存储和计算效率的有前途的技术，本研究以新的扰动视角，研究了量化与大型语言模型性能之间的关系，并发现了扰动特性与性能之间的联系，提供了改善模型量化鲁棒性的潜在解决方案，并在实验证明了基于这一视角的简单非均匀量化方法在权重和激活量化方面都能达到较小的性能损失，以此改善大型语言模型的效率而不牺牲性能。

Mar, 2024

探索量化大型语言模型的最佳实践，平衡性能与计算效率。通过基准测试和实验，提出了与标定数据、量化算法和量化方案相对应的三个关键点，并构建了最佳的LLM PTQ流水线。

May, 2024

通过 quantization 技术，结合 SmoothQuant 和 GPTQ 两种 post-training 技术，将模型量化为 MX 格式，能够显著减小优化型模型大小至多 4 倍，提高 LLaMA 模型大小至多 3 倍，同时仅仅增加 1-3% 的困惑度。

May, 2024

我们提出了一种简单的变量量化方法，该方法将大型语言模型的不同层在不同的比特级别上进行量化，通过将最重要的层量化为更高比特精度并将不太重要的层量化为较低比特以实现浮点量化级别。

Jun, 2024

本研究针对大语言模型在实际应用中面临的高内存和计算需求问题，提出低比特量化作为一种解决方案。论文通过系统性综述低比特量化方法，涵盖基本原理、系统实现以及算法策略，为未来大语言模型的高效性和适用性提供了重要的见解和指导。

Sep, 2024

本文针对大型语言模型在实际应用中面临的高内存和计算需求问题，提出了低比特量化作为解决方案。通过系统地总结低比特量化的方法和实现，提供了基础概念、系统框架及高效训练与推理技术的深入分析，指出未来低比特大型语言模型发展的潜力和趋势。

Sep, 2024

本研究解决了大语言模型在资源受限的物联网设备和嵌入式系统上部署的计算挑战，探讨了量化技术在此方面的应用。通过深入分析量化的数学理论及其在大语言模型中的多种实现方法，研究表明量化技术有效降低了模型大小并加速了推理过程，对提高资源利用效率具有深远的影响。

Oct, 2024