Aug, 2023

FLIQS: 单次混合精度浮点数与整数量化搜索

PDF
TL;DR量化已成为现代深度神经网络的主流压缩技术，本文提出了一种一次性的混合精度量化搜索方法，通过整数和低精度浮点模型在不需要重新训练的情况下提高了 ResNet-18 和 ResNet-50 在 ImageNet 上的准确性，并探索了混合精度浮点搜索和量化与神经架构空间的联合搜索。
发现论文，激发创造
  • 在 FPGA 上使用低精度 Minifloats 和整数进行后训练量化

    在这项研究中，我们通过对模型权重和激活函数使用 3 至 8 位的浮点数和整数量化方案，比较了浮点数量化和整数量化的适用性，验证了低精度 minifloats 在一系列精度 - 准确度权衡中相对于整数量化的有效性，并通过 FPGA 型号评估结果，表明整数量化通常是优选选择。

    Nov, 2023

  • FxP-QNet: 一种用于混合低精度 DNN 设计的训练后量化器，采用动态定点表示

    本文提出一种新的深度神经网络固定点量化框架 (FxP-QNet)，该框架可以在保证网络精度的前提下，根据网络对低精度的需求动态地设计不同精度的量化级别。在基准测试 (ImageNet) 中，模型的内存需求得到了 7.16 倍 - 10.36 倍的压缩，同时准确率只有不到 2% 的损失。

    Mar, 2022

  • MixQuant：混合精度量化与位宽优化搜索

    量化是一种用于创建高效深度神经网络的技术，可以通过以低于 32 位浮点精度的比特宽度执行计算和存储张量来减小模型大小和推理延迟，但量化可能导致舍入误差引起的数值不稳定性，降低量化模型的准确性，而 MixQuant 则是一种搜索算法，根据舍入误差为每个层权重找到最佳的自定义量化比特宽度。

    Sep, 2023

  • 基于固定点量化感知训练的设备端关键词检测

    本研究旨在提出一种新的 FXP 卷积关键词检测模型的训练方法，结合了两种量化感知训练技术 - 压缩权重分布和模型参数的绝对余弦正则化，同时还提出了针对瞬变变量的 QAT 技术，通过实验结果表明我们可以在不降低准确性的情况下将模型精度降低至 4 位，并且在推断阶段 FXP-QAT 消除了 Q 格式规范化并可以使用低比特累加器，同时利用最大内核 SIMD 减少用户感知延迟，降低了 68% 的执行时间。

    Mar, 2023

  • 神经网络的量化和训练，用于高效的整数运算推理

    本文提出了一种量化方案，通过整数运算进行推断，以提高在移动设备上的效率，并设计了一种训练程序来维护量化后的模型精度。该方案在 MobileNets 模型中展现了显著的改进，在 ImageNet 分类和 COCO 检测等任务上获得了良好的结果。

    Dec, 2017

  • I-LLM：针对完全量化低位大型语言模型的高效整数推断

    该研究论文通过提出一种新型的整数化后训练量化框架 (I-LLM)，解决了大语言模型在部署边缘和云设备上仍需要大量浮点运算的问题。实验证明，I-LLM 在保持准确性的前提下，可以以 W4A4 进行操作，优于其他非整数量化方法。

    May, 2024

  • 可训练的固定点量化用于在 FPGA 上加速深度学习

    通过 QFX 可在 FPGA 上实现固定点量化，提高模型在 CIFAR-10 和 ImageNet 数据集上的准确度和性能。

    Jan, 2024

  • 资源受限异构设备上的联邦学习的混合精度量化

    引入混合精度量化方法到异构资源联邦学习系统中以解决通信和计算瓶颈问题，并在多个模型架构和数据集上进行了广泛的基准性实验验证其优于固定精度量化的性能。

    Nov, 2023

  • 整数还是浮点数？大语言模型低比特量化的新展望

    本研究比较研究了 INT 和 FP 低位量化在 LLMs 中的优劣，发现由于张量分布的复杂性和异质性，最优量化格式因层而异，提出了 MoFQ，这种简单易行的方法在各种任务中取得了最新的最佳结果，并且在不引入硬件开销的情况下具有显著的性能改进。

    May, 2023

  • 一次性权重耦合学习的无需重新训练的模型量化

    通过一种一次性训练 - 搜索范式，本文研究了混合精度模型压缩的问题，并提出了一种动态冻结和信息失真缓解技术来优化位宽配置和性能下降。

    Jan, 2024