Jul, 2024

RISC-V R 扩展：利用租用流水线提高边缘 DNN 处理效率

PDF
TL;DR该研究介绍了 RISC-V R-extension，一种用于增强边缘设备上深度神经网络处理效率的新方法。该扩展采用了租用流水线阶段和架构流水线寄存器（APR）的特性，优化关键操作执行，从而减少延迟和内存访问频率，通过全面分析，证明了 R-extension 在边缘设备处理中的提升效果，为更加响应和智能的边缘应用铺平了道路。
edge devicescomputational architecturesdeep neural network inferencerisc-v architecturer-extension
发现论文，激发创造
  • 一种具有极限边缘智能设备学习能力的精确可扩展 RISC-V DNN 处理器

    提出了一种支持多种精度的定点深度神经网络推断和增强设备上学习能力的精度可伸缩的 RISC-V DNN 处理器，通过改进硬件资源利用率，显著提高推断吞吐量和能效，并实现 16.5 倍更高的设备上学习的浮点吞吐量。

    Sep, 2023

  • 利用抗阻交叉点器件加速深度神经网络训练

    本篇论文提出了利用抵抗处理单元（RPU）设备加速深度神经网络（DNN）训练的概念，通过使用 RPU 设备，可以在更短的时间内，使用更少的功耗来完成大规模 DNN 的训练，并且可以实现比现有技术高达 30000 倍的加速因子和 84000 GigaOps /s/ W 的功率效率。

    Mar, 2016

  • OpenCV 算法在 RISC-V CPU 上的矢量化改进

    本研究讨论了在现有的 RISC-V 处理器上通过改进 OpenCV 库中几个计算机视觉和机器学习算法的向量化来加速计算的可能性，并证明改进的向量化可以将 RISC-V 设备的计算速度提高百分之几十。

    Sep, 2023

  • xTern: 在基于 RISC-V 的边缘系统上的高能效三值神经网络推理

    Ternary neural networks offer superior accuracy-energy trade-off, and the xTern extension of the RISC-V instruction set architecture accelerates TNN inference on general-purpose cores, achieving higher throughput, improved energy efficiency, and higher CIFAR-10 classification accuracy.

    May, 2024

  • 评估新兴 AI/ML 加速器：IPU，RDU 和 NVIDIA/AMD GPU

    本研究对商业 AI / ML 加速器进行了初步评估和比较，通过对常见 DNN 运算符和其他 AI / ML 工作负载的一系列基准评估，揭示了数据流架构相对传统处理器设计的优势和性能权衡，并为研究原型的设计和性能期望提供了有价值的参考，从而促进为不断发展的 AI / ML 应用领域量身定制的下一代硬件加速器的发展。

    Nov, 2023

  • 神经形态硬件上机器学习工作量的高效部署

    本文提供了一种将预先训练的深度神经网络 (DNNs) 转换成脉冲神经网络 (SNNs) 的通用指南，并介绍了一些在神经形态硬件上部署转换后的 SNNs 的技术，可显著改进其延迟，功耗和能耗。实验结果表明，与 Intel Neural Compute Stick 2 相比，使用我们的 SNN 改进技术， Intel 的神经形态处理器 Loihi 在测试的图像分类任务中功耗降低了最多 27 倍，能耗降低了最多 5 倍。

    Oct, 2022

  • 在一个开源的 RISC-V 多微核平台上优化基础模型推理

    通过实现分布式 Softmax 原语并利用 ISA 扩展进行 SIMD 浮点操作数流和指令重复，以及专门的 DMA 引擎来最小化昂贵的主内存访问和容忍其延迟，在开源的 RISC-V 平台上呈现了第一批全流程的 Transformer 模型推理结果。对于仅编码器模型，我们展示了最优实现与基线版本之间高达 12.8 倍的加速比；同时在 HW 平台上实现可比较的计算单位吞吐量，FPU 利用率超过 79％和 294 GFLOPS/W，并比 SoA 加速器实现 2 倍以上的性能。对于仅解码器模型，与基线实现相比，在非自回归（NAR）模式下实现 16.1 倍的加速，而在自回归（AR）模式下实现高达 35.6 倍的加速。与最佳 SoA 专用加速器相比，我们实现了高 2.04 倍的 FPU 利用率。

    May, 2024

  • PULP-NN: 在并行超低功耗 RISC-V 处理器上加速量化神经网络

    PULP-NN 是一种优化的计算库，用于并行超低功耗 RISC-V 处理器集群，其关键创新在于量化神经网络推理的内核，可实现对字节和子字节数据类型的优化，利用 PULP RISC-V 处理器提供的数字信号处理扩展和集群并行性，可以达到高达 15.5 个 MACs / 周期的性能，提高了多倍的执行效率，特别是在嵌入式系统中的优化效果相当明显。

    Aug, 2019

  • 在嵌入式 ARM big.LITTLE 多核处理器上进行高吞吐量 CNN 推理

    本文介绍了一种名为 Pipe-it 的替代框架，它采用流水线设计将卷积层分布在多个簇中，从而限制各自卷积内核的并行化，以提高 IoT Edge 智能的推理效率。使用性能预测模型利用卷积层描述符预测各允许的内核配置（类型和数量）上每个卷积层的执行时间，并利用有效的设计空间探索算法来创建平衡的管道，Pipe-it 平均提高了 39％的吞吐量。

    Mar, 2019

  • RISC-V 系统机器学习推理工作负载的全栈评估

    通过使用基于多级中间表示（MLIR）的开源编译工具链，该研究在 gem5 这个开源架构模拟器上评估了 RISC-V 架构上各种机器学习工作负载的性能，并揭示了 gem5 在模拟 RISC-V 架构时的当前限制，为未来的开发和改进提供了见解。

    May, 2024