Nov, 2016

ZipML 框架：端到端低精度模型训练：能与不能兼备，再加一点深度学习

PDF
TL;DR该论文探讨了在低精度下使用机器学习模型进行训练的可行性，提出了一种名为 ZipML 的框架，通过双重采样策略实现线性模型的低精度训练，避免了由于量化导致的引入偏差问题，并在各种应用场景中进行了验证。同时，通过使用方差优化的随机量化策略，在包括非线性模型在内的多种情况下，得出了有关低精度机器学习的重要结论和实用价值。
发现论文，激发创造
  • ZeroQ：一种新颖的零样本量化框架

    本文提出了一种名为 ZeroQ 的新型零 - shot 量化框架，用于量化神经网络而无需访问原始数据，ZeroQ 通过优化一个与网络不同层的批量归一化统计数据相匹配的 Distilled Dataset 来实现。我们在不同的模型上进行了广泛测试，证明 ZeroQ 可以实现比 DFQ 方法更高的精度，具有极低的计算开销。

    Jan, 2020

  • 混合精度神经网络综述

    本文介绍了混合精度框架优化技巧的现有文献，并对常用的量化技巧进行了总结，其中部分框架运用的优化技巧为强化学习和确定性舍入，文章讨论了每种框架的优点和缺陷，并且为未来的混合精度框架提供了指导。

    Aug, 2022

  • SqueezeLLM：紧密稀疏量化

    通过引入 SqueezeLLM 后训练的量化框架，该框架不仅实现了高达 3 位的无损压缩，还在相同的内存约束下实现了更高的量化性能，可以将羊毛出在羊身上，仿佛神器一般。

    Jun, 2023

  • ZeroQuant: 大规模 Transformer 的高效和实惠的后训练量化

    本研究提出了一种有效而实惠的后训练量化方法，ZeroQuant，用于压缩大型 Transformer-based 模型。ZeroQuant 采用细粒度硬件友好量化、层内知识蒸馏算法、优化的量化系统等三个主要组成部分，能够在尽可能减少精度损失的情况下实现模型压缩和性能提升。

    Jun, 2022

  • 使用 8 位浮点数进行混合精度训练

    本文介绍了一个使用 8 位浮点表示法训练深度神经网络的方法，减少计算精度和主权重复制的精度要求，并且通过强化误差传播和降低量化噪声的方法来提高模型性能。实验表明，所提出方法在多个数据集和不同工作负载下与精度基线相比不降反升。

    May, 2019

  • 零样本对抗量化

    本文提出了一个零样本敌对量化（ZAQ）框架，利用两级子空间分别描述数据分布的不同特征，通过生成对抗网络驱动生成器合成出优化量化模型的多样性数据示例，实现对全精度模型到其量化模型的有效差异估计和知识转移。在三个基本的视觉任务上进行了广泛实验，证实了 ZAQ 在零样本量化方面的卓越性，并验证了其主要组成部分的有效性。

    Mar, 2021

  • 自由比特：边缘上混合精度量化神经网络的延迟优化

    该论文提出了一种混合精度搜索方法，该方法通过硬件无关的可微分搜索算法和硬件感知优化算法来寻找特定硬件目标上的优化后的混合精度配置，以减少模型大小、延迟并保持统计准确性，该方法在 MobileNetV1 和 MobileNetV2 上进行了评估，在具有不同硬件特性的多核 RISC-V 微控制器平台上展示了与 8 位模型相比高达 28.6% 的端到端延迟降低，在没有对子字节算术支持的系统上也能实现加速，同时在代表延迟的减少二进制运算次数上，我们的方法也表现出优越性。

    Jul, 2023

  • 联合修剪与通道混合精度量化用于高效的深度神经网络

    通过轻量级的基于梯度的搜索方法和硬件感知的方式，结合稀疏化和混合精度量化的优化技术，在减小延迟和内存占用方面获得 Pareto 最优的准确性与成本（即延迟或内存）之间的深度神经网络。

    Jul, 2024

  • 4 位精度的必要性：k 位推断缩放定律

    研究语言模型在压缩模型时的精度与模型大小之间的平衡，发现在总模型位和零 - shot 准确度方面，{4 位} 精度几乎普遍最优。

    Dec, 2022

  • 利用量化噪音进行极限模型压缩的训练

    本文针对在给定模型大小时最大化其准确性的紧凑模型生成问题，将讨论延伸量化感知训练的方法，实现了仅在每个前向传递过程中量化不同的一组随机权重，从而利用 SE 残差正向时间传递的无偏梯度实现极端压缩的目的，并在自然语言处理和图像分类领域分别取得了新的准确性与模型大小之间的最优折中表现。

    Apr, 2020