May, 2023

尺度量化的有趣特性

PDF
TL;DR本研究探究量化在模型表现中的权衡是否是一种新兴特性 (emergent property)，除了提出优化量化友好的训练方式可以降低表现退化的维度，我们的实验还表明异常维度不是规模的一个内在产物而是敏感于预训练时的优化条件，这一结论为更高效的量化和其它新兴特性的探究提供了可能性。
emergent propertiesquantizationperformanceoptimizationarchitecture design
发现论文，激发创造
  • 量子化大型语言模型中是否存在突现能力：一项实证研究

    本文研究了量化对语言模型的影响，重点关注了量化对模型的新兴能力、上下文学习、思维链推理和指令跟随等的影响，实验证明 4 位量化模型仍然存在这些新兴能力，而 2 位模型在这些能力测试中遭受严重性能下降，通过模型微调和特定分析方法，本文揭示了量化对新兴能力影响的一系列重要发现，并为极低位量化提供了思路。

    Jul, 2023

  • 解锁可预测的增长能力

    通过大规模采样在解码阶段引入 PassUntil 评估策略，本研究量化了任务性能的扩展规律并发现了突现能力的具体证据，从而推翻了有关突现能力产生的常见 “多步推理假设”，提出了一种符合观察到的扩展曲线的新假设。

    Oct, 2023

  • 量化 LLM 在规模和精度方面的能力

    通过对模型规模和量化的综合评估，发现在各种任务中，规模较大的模型通常优于规模较小的模型，同时大规模模型对于精度降低有很好的韧性，可在较小的内存要求下保持高准确性，因此它们比使用更小的模型更好。

    May, 2024

  • 大语言模型中的权重量化激活异常值教训

    本文提出了一种后训练量化方法，可以在不损失质量的情况下，在模型中针对 weight 使用较高的精度，大大降低了模型推理需要的 GPU 数量，实现了更高的经济性。

    Jun, 2023

  • 典型案例分析中的权重量化对模型学习的影响

    本文研究了大规模数据分析模型中使用的量化方法及其超参数选择。通过采用统计物理学中的典型案例分析，特别是副本方法，我们探索了超参数对简单学习模型的量化产生的影响，并得到了三个关键发现：（i）在位数较少和量化宽度较大的情况下会出现不稳定的超参数相位，即副本对称性破缺；（ii）存在一个最佳的量化宽度能够最小化误差；以及（iii）量化有助于延迟过参数化的发生，减轻了过拟合问题，这一点可以从双下降现象看出。此外，我们还发现非均匀量化可以增强稳定性，并开发了一个近似传递信息算法来验证我们的理论结果。

    Jan, 2024

  • 预训练中去除异常值是一餐免费午餐吗？

    通过引入一个新的 softmax 函数，该方法通过处理异常值，使模型适配量化，且能成功预训练因果语言模型。

    Feb, 2024

  • 大型语言模型的量化策略的全面评估

    对大型语言模型的量化技术进行研究，发现 4 位量化的语言模型可以在大部分基准测试中保持与非量化模型相当的性能，并且困惑度可以作为量化语言模型的代理度量。然而，量化也会影响推断速度，因此在优化解码速度和内存消耗方面需要进行大量工程努力和硬件支持。

    Feb, 2024

  • 大型语言模型的新兴能力是否是海市蜃楼？

    针对大型语言模型的研究表明，一些表观的新能力可能是研究人员在分析过程中选择了不同的度量标准而得出的结果，而非模型行为的本质变化，我们在使用简单的数学模型进行确认后得到支持证据。

    Apr, 2023

  • 研究量化对对抗性鲁棒性的影响

    在这篇论文中，我们首次对 Post-Training Quantization 和 Quantization-Aware Training 的设置下，能够将鲁棒性优化纳入其中的量化流水线组件的影响进行了深入研究分析。通过我们的详细分析，我们发现不同研究中使用的不同流水线导致了这种不一致性，具体涉及是否执行鲁棒优化以及在哪个量化阶段执行。我们的研究结果为部署更安全、更鲁棒的量化网络提供了洞察，帮助从业者在高安全要求和有限资源的情况下进行参考。

    Apr, 2024

  • 大型语言模型量化之困：基于扰动视角的实证研究

    量化作为一种改善大型语言模型的存储和计算效率的有前途的技术，本研究以新的扰动视角，研究了量化与大型语言模型性能之间的关系，并发现了扰动特性与性能之间的联系，提供了改善模型量化鲁棒性的潜在解决方案，并在实验证明了基于这一视角的简单非均匀量化方法在权重和激活量化方面都能达到较小的性能损失，以此改善大型语言模型的效率而不牺牲性能。

    Mar, 2024