KDDOct, 2022

基于多核 MCU 和混合 FP16-INT8 后训练量化的 RNN 语音增强加速

PDF
TL;DR本论文提出了一种基于回归神经网络的语音增强算法的优化方法，该方法在具有 1+8 通用 RISC-V 核心的最新型号微控制器单元上实现，采用了 LSTM 和 GRU 并行计算、低精度量化和混合精度训练等技术，取得了在保证模型精度和提高计算速度的同时，减小模型大小和降低功耗等方面的显著效果。
speech enhancementrecurrent neural networksmicrocontroller unitmixed-precision post-training quantizationlow-power computing
发现论文，激发创造
  • 通过端到端 4 位量化加速递归神经网络转录器的推断和语言模型融合

    本研究探讨了量化技术对于循环神经网络传输器（RNN-T）推论过程的加速作用，通过量化训练（QAT）重新训练全模型，应用自定义的量化方案并使用大型 beam widths 进行假设搜索，实现了 RNN-T 的端到端量化，并取得了较好的性能以及与浮点精度相比 7.6 倍的压缩比。

    Jun, 2022

  • TinyLSTMs: 用于助听器的高效神经语音增强

    通过使用模型压缩技术，我们成功地压缩了大规模循环神经网络，以满足计算资源受限的助听器上的使用需求。结果表明，在保持高质量音频输出的前提下，压缩模型的尺寸和操作数量分别减小了 11.9 倍和 2.9 倍，计算延迟为 2.39 毫秒。

    May, 2020

  • 基于内存的混合低精度量化，实现微控制器上深度网络推断

    本文提出了一种新颖的端到端方法，用于在微控制器上部署低误差的深度神经网络，通过混合低位宽压缩，结合 8、4 或 2 位均匀量化，以整数运算来建模推理图，旨在确定每个激活和权重张量的最小位精度，摆脱了资源受限边缘设备的内存和计算限制，通过一个基于规则的迭代过程，运用量化感知的重训练，将虚假量化图转换为整数推理模型，使用整数通道归一化 (ICN) 图层将该模型部署到只有 2MB 的 FLASH 存储器和 512kB 的 RAM 设备上，并报告了基于 STM32H7 微控制器的混合精度 MobilenetV1 家族网络的延迟 - 精度评估结果，实验结果表明，相比于之前发表的微控制器 8 位实现，Top1 精度提高了 8％，达到了 68％。

    May, 2019

  • 8 位神经网络加速器的小于 8 位量化感知训练，用于设备上的语音识别

    本文提出了一种 8 位神经网络加速器的新型子 8 位量化感知训练（S8BQAT）方案，利用 Lloyd-Max 压缩理论的灵感，通过适当的实用化来降低计算开销，并应用于递归神经网络传输者 (RNN-T) 结构的语音识别任务中，进一步优化模型参数大小，相对减少误差率 4%-16%，提高计算速度 5%。

    Jun, 2022

  • FP8-BERT：Transformer 的后训练量化

    本文通过对 GLUE 和 SQuAD v1.1 数据集上的 BERT 变种进行大量实验，验证了 FP8 作为一种进行后训练量化的有效方式，能够在不显著损失精度的情况下提高准确性。

    Dec, 2023

  • MixDQ: 高效节省内存的几步文本到图像扩散模型与度量分离混合精度量化

    通过开发一种混合精度量化框架 MixDQ，我们针对强敏感度文本嵌入进行专门的 BOS 感知量化方法设计，通过度量解耦灵敏度分析来衡量每一层的敏感度，最后通过基于整数规划的方法进行位宽分配，与现有的量化方法相比，MixDQ 在保持 W8A8 品质的同时，实现了模型大小和内存成本的 3-4 倍减少，和 1.45 倍的延迟加速。

    May, 2024

  • 基于遗传算法的针对门控循环单元的定制化混合精度次 8 位量化方案

    提出了一种用于 Gated Recurrent Units (GRU) 的模块化整数量化方案，通过遗传算法 (Genetic Algorithms) 优化 bit 宽度，以同时优化模型大小和准确性。在四个不同的顺序任务中，其混合精度解决方案在 Pareto 效率方面优于同质精度解决方案，实现模型大小减少 25% 至 55% 的同时，准确性与等效的 8 位同质模型可比。

    Feb, 2024

  • ZeroQuant: 大规模 Transformer 的高效和实惠的后训练量化

    本研究提出了一种有效而实惠的后训练量化方法，ZeroQuant，用于压缩大型 Transformer-based 模型。ZeroQuant 采用细粒度硬件友好量化、层内知识蒸馏算法、优化的量化系统等三个主要组成部分，能够在尽可能减少精度损失的情况下实现模型压缩和性能提升。

    Jun, 2022

  • 深度神经网络在微控制器上的量化与部署

    本文介绍了一个新的深度神经网络量化和部署的框架，MicroAI，并研究了在低功耗 32 位微控制器上应用该框架的优化方法和效果。通过对三个不同数据集 (UCI-HAR、Spoken MNIST 和 GTSRB) 的评估，与两种已有的嵌入式推理引擎 (TensorFlow Lite for Microcontrollers 和 STM32CubeAI) 的比较和在 ARM Cortex-M4F 微控制器 (Ambiq Apollo3 和 STM32L452RE) 上的验证，证明了 MicroAI 具有更好的内存和功耗效率。

    May, 2021

  • 高效的后训练量化与 FP8 格式

    最近在深度学习方法中，如 LLMs 和 Diffusion 模型的最新进展已经带来了对改进量化方法的需求，以满足这些现代架构的计算需求，并保持精确性。为了实现这一目标，我们研究了在 75 种不同的网络架构中跨越各种任务（包括机器翻译、语言建模、文本生成、图像分类、生成和分割）的后训练量化中 FP8 数据格式的优势。我们研究了三种不同的 FP8 表示（E5M2、E4M3 和 E3M4），以研究动态范围和精度之间不同权衡程度对模型准确性的影响。基于我们广泛的研究，我们开发了一个横跨不同网络架构的量化工作流程。我们的实证结果显示，FP8 格式在多个方面（包括工作负载覆盖率 92.64% 对 65.87%、模型准确度和适用于更广泛的操作范围）优于 INT8。此外，我们的研究结果表明，E4M3 更适用于自然语言处理模型，而对于计算机视觉任务，E3M4 稍微优于 E4M3。代码公开可用于 Intel Neural Compressor: this https URL。

    Sep, 2023