基于整数的 Hadamard 域训练用于类增量量化学习

Oct, 2023

基于整数的 Hadamard 域训练用于类增量量化学习

Hadamard Domain Training with Integers for Class Incremental Quantized Learning

Martin Schiemer, Clemens JS Schaefer, Jayden Parker Vap, Mark James Horeni, Yu Emma Wang...

TL;DR通过使用廉价的哈达玛变换，我们提出了一种在只进行整数矩阵乘法的低精度训练中降低计算精度的技术，进一步确定了哪些张量需要进行随机舍入，并提出了平铺矩阵乘法来实现低位宽累加器。在几个人体活动识别数据集和 CIFAR100 的类增量学习环境中，我们展示了我们技术的有效性，当我们将所有矩阵乘法输入量化为 4 位并使用 8 位累加器时，我们实现了不到 0.5% 和 3% 的准确度降低。

Abstract

continual learning is a desirable feature in many modern machine learning applications, which allows in-field adaptation and updating, ranging from accommodating distribution shift, to fine-tuning, and to learning new tasks. For applications with privacy and low latency requirements, t

continual learning quantized training integer matrix multiplications stochastic rounding human activity recognition

发现论文，激发创造

HadaNets: 神经网络的灵活量化策略

该研究论文介绍了一种名为 HadaNets 的新型神经网络模型，可以在不占用太多内存和训练时间的情况下有效地训练和推理深度神经网络，同时具有优秀的模型压缩性能。

May, 2019

一种深度神经网络低比特宽度训练的统计框架

本论文提出了一个用于分析全量化训练算法的统计框架，并探讨了梯度量化对其收敛性的影响。作者开发了两个新的梯度量化器，并展示了这些量化器相对于现有的每个张量量化器具有更小的方差。

Oct, 2020

使用四位整数训练变压器

本文提出了一种使用 INT4 算法进行 transformer 训练的方法，以实现低精度的前向和后向传播，并通过 Hadamard 量化器和位分裂等技术处理异常值和稀疏梯度，从而实现在当前型号 GPU 上完成快速的模型训练。

Jun, 2023

神经网络的量化和训练，用于高效的整数运算推理

本文提出了一种量化方案，通过整数运算进行推断，以提高在移动设备上的效率，并设计了一种训练程序来维护量化后的模型精度。该方案在 MobileNets 模型中展现了显著的改进，在 ImageNet 分类和 COCO 检测等任务上获得了良好的结果。

Dec, 2017

深度学习推理的整数量化：原理与实证评估

本文介绍了量化技术如何减小深度神经网络的规模，提高推理延迟和吞吐量，并评估它们在各种应用领域的不同神经网络模型上的选择，包括视觉、语音和语言等方面，并重点介绍适用于高吞吐量整数数学流水线处理器加速的量化技术。同时，还提供了一种 8 位量化工作流，能够在所有研究的网络上保持 1% 的浮点基线精度，包括更难量化的模型，如 MobileNets 和 BERT-large。

Apr, 2020

HLQ: 基于 Hadamard 低秩量化的快速高效反向传播

通过引入一种名为 Hadamard Low-rank Quantization (HLQ) 的优化策略，该研究主要关注在降低卷积和线性层的反向传播成本，在从头训练和微调过程中实现显著的内存节省和加速，并且获得了卓越的性能表现。

Jun, 2024

EfficientDM: 高效的低位扩散模型量化感知微调

提出了一种数据自由且参数高效的优化方法 EfficientDM，它通过引入量化感知的低秩适配器 QALoRA 来实现 QAT 级别的性能与 PTQ 的效率相似，从而优化低位扩散模型的性能，并且在时间和数据效率方面显著超过之前基于 PTQ 的扩散模型。

Oct, 2023

可训练的固定点量化用于在 FPGA 上加速深度学习

通过 QFX 可在 FPGA 上实现固定点量化，提高模型在 CIFAR-10 和 ImageNet 数据集上的准确度和性能。

Jan, 2024

在 FPGA 上使用低精度 Minifloats 和整数进行后训练量化

在这项研究中，我们通过对模型权重和激活函数使用 3 至 8 位的浮点数和整数量化方案，比较了浮点数量化和整数量化的适用性，验证了低精度 minifloats 在一系列精度 - 准确度权衡中相对于整数量化的有效性，并通过 FPGA 型号评估结果，表明整数量化通常是优选选择。

Nov, 2023

使用 8 位整数训练高性能和大规模深度神经网络

本文提出了一种名为 WAGEUBN 的统一完整量化框架，可将神经网络的数据路径（包括所有数据类型 W，A，G，E，U 和 BN）中所有数据转换为低位整数以实现全面量化和在线训练，并在 ImageNet 数据集上获得了可比较的精度，展示了在大规模 DNNs 中 8 位 INT 级别的完整量化的功能性。

Sep, 2019