大型语言模型中的参数数量、量化、超参数和推理速度的研究分析
Sep, 2023
对大型语言模型的量化技术进行研究，发现4位量化的语言模型可以在大部分基准测试中保持与非量化模型相当的性能，并且困惑度可以作为量化语言模型的代理度量。然而，量化也会影响推断速度，因此在优化解码速度和内存消耗方面需要进行大量工程努力和硬件支持。
Feb, 2024
量化作为一种改善大型语言模型的存储和计算效率的有前途的技术，本研究以新的扰动视角，研究了量化与大型语言模型性能之间的关系，并发现了扰动特性与性能之间的联系，提供了改善模型量化鲁棒性的潜在解决方案，并在实验证明了基于这一视角的简单非均匀量化方法在权重和激活量化方面都能达到较小的性能损失，以此改善大型语言模型的效率而不牺牲性能。
Mar, 2024
我们介绍了一种新的后训练量化方案——整数比例，它有效地解决了当前细粒度量化方法中的推理瓶颈问题，同时保持了类似的准确性。整数比例不需要额外的校准或微调，从而避免了额外成本。它可以与大多数细粒度量化方法直接使用，最多可使原始模型的端到端速度提升1.85倍，并且能够解决Mixtral-8x7B和LLaMA-3模型的量化困难，几乎不降低性能，并分别相对于它们的FP16版本提供2.13倍和2.31倍的端到端速度提升。
May, 2024
使用全面的基准套件，我们探索了大规模语言模型在量化过程中的泛化能力以及校准数据分布对其影响，并且发布了一个模块化设计的工具包来帮助未来的研究。
Jun, 2024
本文针对后训练压缩后大型语言模型的质量不可预测问题，进行了系统的实证研究，探讨了多种低精度张量数据类型的量化效果。研究发现，与局部损失景观特征相关的关键规模因子可以显著改善量化模型的性能预测，提供了新颖的统计模型框架，为这一领域填补了空白。
Oct, 2024
本研究针对大型语言模型在边缘设备部署中的高内存需求问题，提出了一种新的通道级混合精度量化方法（CMPQ），该方法依据激活分布以通道为单位分配量化精度。实验结果表明，CMPQ在整数位量化任务中提升了性能，并在适度增加内存使用的情况下，实现了显著的性能提升，展现了其在不同设备能力下的适应性和有效性。
本研究解决了后训练阶段量化大型语言模型（LLMs）性能的不确定性问题，通过系统的实证研究确定了关键的缩放因素。这些因素帮助我们建立了一个统计模型，可以合理预测量化LLMs的表现，具有重要的实用价值。
本研究解决了大语言模型在资源受限的物联网设备和嵌入式系统上部署的计算挑战，探讨了量化技术在此方面的应用。通过深入分析量化的数学理论及其在大语言模型中的多种实现方法，研究表明量化技术有效降低了模型大小并加速了推理过程，对提高资源利用效率具有深远的影响。
本研究针对大型语言模型的优化问题，评估了后训练量化（PTQ）和量化感知训练（QAT）两种量化技术。研究提出了一种新的理论框架，可以通过层灵敏度和权重方差来推导最佳比特分配策略，实验表明该方法可在显著降低模型大小和计算成本的同时保持性能。最显著的发现是，该量化方法在边缘设备上实现了大幅度的吞吐量提升和功耗降低。
Nov, 2024