Aug, 2019

PULP-NN: 在并行超低功耗 RISC-V 处理器上加速量化神经网络

PDF
TL;DRPULP-NN 是一种优化的计算库，用于并行超低功耗 RISC-V 处理器集群，其关键创新在于量化神经网络推理的内核，可实现对字节和子字节数据类型的优化，利用 PULP RISC-V 处理器提供的数字信号处理扩展和集群并行性，可以达到高达 15.5 个 MACs / 周期的性能，提高了多倍的执行效率，特别是在嵌入式系统中的优化效果相当明显。
发现论文，激发创造
  • 一种具有极限边缘智能设备学习能力的精确可扩展 RISC-V DNN 处理器

    提出了一种支持多种精度的定点深度神经网络推断和增强设备上学习能力的精度可伸缩的 RISC-V DNN 处理器，通过改进硬件资源利用率，显著提高推断吞吐量和能效，并实现 16.5 倍更高的设备上学习的浮点吞吐量。

    Sep, 2023

  • Tiny-PULP-Dronets：多任务自主纳米无人机上用于更快速且轻量级推理的神经网络压缩

    微型自主纳米无人机可在狭窄受限的空间中进行视觉检查，确保较小的体积和重量（即几十克）以及更安全的人机交互；本研究通过 Tiny-PULP-Dronet 方法，在保持类似飞行性能的同时，将模型大小（参数减少 50 倍）和运算数量（乘加运算减少 27 倍）大幅压缩，从而降低成本助力纳米无人机实现多任务处理和高级智能。

    Jul, 2024

  • 量子化神经网络的简化部署

    本论文介绍了一种将 QNN 推理操作转换为整数推理操作的流程，以及一些基于比特串处理技术的方法，以常见的按位操作有效地部署 QNN。作者展示了 QNN 在移动 CPU 上的潜力，并提供了一个比特串矩阵乘法库。

    Sep, 2017

  • FANN-on-MCU: 一个边缘计算中针对能效的神经网络推断的开源工具集

    本文介绍了一个名为 FANN-on-MCU 的开源工具包，该工具基于快速人工神经网络（FANN）库，可以在基于 ARM Cortex-M 系列和新的基于 RISC-V 的 Parallel Ultra-Low-Power (PULP) 平台上运行轻量级、高效率的神经网络，用于进行边缘计算。该工具包可以生成针对低功耗微控制器执行的代码，并提供了在不同平台上经过实验证明的性能评估，通过实验结果表明其具有低延迟和低功耗等优势。

    Nov, 2019

  • 基于多核 MCU 和混合 FP16-INT8 后训练量化的 RNN 语音增强加速

    本论文提出了一种基于回归神经网络的语音增强算法的优化方法，该方法在具有 1+8 通用 RISC-V 核心的最新型号微控制器单元上实现，采用了 LSTM 和 GRU 并行计算、低精度量化和混合精度训练等技术，取得了在保证模型精度和提高计算速度的同时，减小模型大小和降低功耗等方面的显著效果。

    Oct, 2022

  • 一个用于设备上连续学习的 TinyML 平台，具备量化的潜在回放功能

    本文提出了基于 PULP 处理器的深度学习端到端持续学习硬件 / 软件平台，利用量化和潜在重播来优化内存成本，以实现采用小型设备的实践多样性更新。

    Oct, 2021

  • 超低功耗时间序列边缘推理的 TCN 映射优化

    该论文介绍了一种基于自动探索方法和优化卷积核库的时间卷积网络应用于低功率微控制器上的策略，通过对层瓷砖的优化来达到最小延迟和能量消耗，实现了比其他常见方法更高效的时间序列分析方法。

    Mar, 2022

  • 采用超低比特量化和运行时技术加速在 Arm CPU 上的深度学习模型推理

    介绍了 Deeplite Neutrino 以及 Deeplite Runtime 来优化深度学习模型，并在 Arm-based 平台上部署超低比特量化模型。使用向量化，并行化和瓦片化高效实现，这些实现与 TensorFlow Lite 比较，分类和检测模型的速度提高了 2 倍和 2.2 倍，与 ONNX Runtime 比较，分类和检测模型的速度提高了 5 倍和 3.2 倍。

    Jul, 2022

  • 基于 RISC-V 工具链和敏捷开发的开源神经形态处理器

    本文提出了一种低功耗神经形态计算处理器 —— 文曲星 22A，采用了 RISC-V SNN 扩展指令版本 1.0、简化漏电积分 - 火灾（LIF）模型和二元随机脉冲时序相关可塑性（STDP）等技术，将 SNN 计算单元集成到通用 CPU 流水线中，实现了低功耗计算，并将该处理器应用于 MNIST 数据集识别任务上，结果表明 Wenquxing 22A 相较 ODIN 加速解决方案能够提高 5.13 倍的能源费用效率，同时保持了较高的分类精度。

    Oct, 2022

  • 实时大规模 ConvNets 的 0.3-2.6 TOPS/W 精度可扩展处理器

    该研究实现了一种低功耗、可精确可扩展的卷积神经网络处理器，其充分利用卷积的稀疏性和动态精度可扩展性，实现了供应和能量缩放，能够在保持吞吐量的情况下最小化能量消耗，同时其实现的效率从 0.3-2.6 实际 TOPS/W，超越了同类产品达到 3.9 倍的能效。

    Jun, 2016