Jun, 2024

空闲即休眠: 在闲置时关闭FPGA加速器的配置感知替代方案

HTML
PDF
TL;DR在快速发展的物联网领域中，我们专注于提高基于FPGA的异构平台上深度学习加速器的能效，符合可持续计算原则。我们通过优化FPGA配置阶段的开销，成功实现了40.13倍的配置能量减少。此外，在与节能方法相结合的情况下，我们的等待空闲策略在请求周期长达499.06毫秒的占空比模式中胜过传统的开关策略。在40毫秒请求周期内，在4147焦耳的能量预算下，此策略将系统寿命延长到传统开关策略的约12.39倍。通过硬件测量和模拟进行实证验证，这些优化为在物联网中实现高效能源和可持续部署提供了有价值的见解和实用方法。
发现论文，激发创造
  • 深度学习系统的超高性能和能量效率：一种算法-硬件协同优化框架

    本文旨在实现深度神经网络硬件实现的超高能效和性能，提出一种面向不同类型、大小和应用场景的DNN算法-硬件协同优化框架，并在硬件部分采用高效的FPGA实现，实验表明与IBM TrueNorth处理器和参考的FPGA实现相比，该框架至少实现了152倍的加速和71倍的能效增益。

    Feb, 2018

  • FPGA/DNN Co-Design: 物联网边缘智能的高效设计方法

    本文提出了一种相结合的 FPGA/DNN 共同设计方法，包括自动设计流程和硬件优化的 DNN 模型搜索，结果表明在对象检测上该设计方案的 DNN 模型和加速器在交并比、帧数、功耗和能量效率等多个方面优于 GPU 解决方案。

    Apr, 2019

  • IoT设备上实现深度学习的双向协同设计方法

    本文提出一种底层深度神经网络模型设计策略和顶层DNN加速器设计流程的双向协同设计方法，通过在IoT设备上进行联合优化使得既能获得高IoU精度的QoR也能获得高FPS和高能效的QoS。

    May, 2019

  • SamurAI: 具有事件驱动唤醒和嵌入式机器学习加速的多功能物联网节点

    本文介绍了一种可提高IoT应用程序性能和节能的IoT节点架构SamurAI，旨在优化节点的机器学习能力、数据传输和能源管理。

    Apr, 2023

  • Marsellus：一种异构RISC-V AI-IoT终端节点SoC，具有2至8位DNN加速和30％增强自适应体偏置

    研究了一种在低功耗下运行的数字信号处理器，用于人工智能物联网系统中的深度神经网络推断和浮点运算，结合硬件加速达到高效率运行。

    May, 2023

  • 异构低功耗SoC的机器学习本地评估工具包

    本文介绍了一种名为 U-TOE 的通用工具包，它结合了低功耗嵌入式操作系统、通用模型转换器和编译器、集成性能测量模块以及开放访问的远程 IoT 测试平台的功能，旨在为 AIoT 设计师和研究人员提供便利，加速边缘计算的发展。

    Jun, 2023

  • 基于时间编码的深度强化学习在嵌入式设备上的实时应用CPU频率调度

    在本研究中，我们专注于为小型设备开发高效的功耗管理方法，通过使用基于强化学习和时间编码的技术从三种具有挑战性的工作负载/系统模式中导出一个有效的DVFS调度器，该调度器仅使用一个性能计数器并能适应性能需求，在能源节约方面优于内置的Linux方法。

    Sep, 2023

  • FROST: 朝能效型AI-on-5G平台迈进 - GPU功耗限制评估

    通过FROST（Flexible Reconfiguration method with Online System Tuning），我们提出了一种能源感知的机器学习管道解决方案，可根据O-RAN的规范和原则对能耗进行优化，从而实现高达26.4%的能源节省而不降低模型的准确性或引入显著的时间延迟。

    Oct, 2023

  • 通过解决嵌入式FPGA中LSTM单元的吞吐量瓶颈来增强能效

    为了处理物联网(IoTs)中的传感器数据，本研究提出了一种嵌入式深度学习的重要技术，即LSTM细胞的优化，旨在实现端设备上的高效能推断。通过以交通速度预测为案例研究，利用优化的LSTM细胞的简单LSTM模型在 extit{XC7S15} FPGA芯片上实现了每秒17534次的推断，每次推断仅消耗3.8微焦耳的能量。与现有方法相比，其吞吐量至少提高了5.4倍，能量效率提高了1.37倍。

    Oct, 2023

  • 高效边缘人工智能：使用Gemmini加速器在FPGA上部署卷积神经网络

    本研究解决了在边缘设备上部署卷积神经网络（CNN）的复杂性和劳动强度问题。通过开发一个端到端的工作流程，利用Gemmini加速器和开源软件优化部署过程，研究显示在Xilinx ZCU102 FPGA上部署YOLOv7模型可实现实时性能和36.5 GOP/s/W的能效表现，显著优于其他嵌入式硬件设备。此方案在交通监控场景中的应用展示了其广泛的潜在影响。

    Aug, 2024