dnn inference | BriefGPT - AI 论文速递

关键词dnn inference

搜索结果 - 10

vMCU: MCU 上的 DNN 推理的协调内存管理和内核优化
基于微控制器单元（MCU）的物联网设备为近传感器深度学习模型（DNN）提供超低功耗和无处不在的计算能力。本文提出了一种协同 MCU 上的 DNN 推断的内存管理和内核优化方法，以实现细粒度的内存管理。通过将有限内存虚拟化为一个大型内存池，每
PDF2 months ago
碳排放强度感知的 DNN 自适应推理
我们提出了一种启发式算法，通过在低强度时期使用更大、更高精度的模型，在高强度时期使用更小、更低精度的模型，从而使 DNN 推理更加可持续，减少能源消耗和碳足迹。我们还引入了一个指标，即碳排放效率，以量化自适应模型选择在碳足迹方面的有效性。评
PDF3 months ago
超越推断：计算机视觉 DNN 服务器开销的性能分析
对计算机视觉的深度学习系统进行综合评估，发现数据处理和系统吞吐量是深度学习应用性能的重要瓶颈，并提出了更全面的深度学习系统设计方法。
PDF4 months ago
Opara：利用运算符并行性加速 GPU 上的 DNN 推断
提出了一种资源感知和干扰感知的 DNN 操作并行调度框架 Opara，以加速在 GPU 上进行 DNN 推理的执行。通过使用 CUDA Streams 和 CUDA Graph 来自动并行化多个 DNN 操作的执行，并调整操作在 GPU 上
PDF7 months ago
面向协作边缘平台的自适应工作负载分配用于重视准确性的深度神经网络推理
在本研究中，我们提出了一种自适应工作负载分配方法，联合考虑边缘设备的节点异构性以及应用特定的准确性和性能要求，通过组合优化异构感知的工作负载分割和动态准确配置 DNN 模型，以确保性能和准确度保证。我们在 Odroid XU4、Raspbe
PDF9 months ago
精密且容错的模拟神经网络蓝图
通过使用残余数系统（RNS），我们研究表明，利用 RNS 基于方法的模拟加速器在只使用 6 位精度的数据转换器的情况下，可以实现优于 FP32 精度的 99% 以上的先进 DNN 推断，而传统的模拟核在相同的 DNN 中需要超过 8 位的精
PDF9 months ago
共享内存冲突感知的异构片上系统并发 DNN 执行
本研究提出了一种名为 HaX-CoNN 的新方案，将并发执行的深度神经网络推理工作负载的层映射到系统级芯片内的多种异构加速器，以最小化内存争用并提升工作负载的延迟和总体吞吐量。实验结果表明，与最先进的方法相比，HaX-CoNN 可将内存争用
PDFa year ago
Marsellus：一种异构 RISC-V AI-IoT 终端节点 SoC，具有 2 至 8 位 DNN 加速和 30％增强自适应体偏置
研究了一种在低功耗下运行的数字信号处理器，用于人工智能物联网系统中的深度神经网络推断和浮点运算，结合硬件加速达到高效率运行。
PDFa year ago
U-Boost NAS: 利用率提升的可微神经结构搜索
本文提出了一种新的硬件感知神经结构搜索框架，旨在优化目标平台上的任务精度、推理延迟和资源利用。通过使用该框架和新的资源利用模型，我们在 CIFAR-10 和 Imagenet-100 数据集上实现了 2.8-4 倍的 DNN 推理加速，并获
PDF2 years ago
边缘智能：基于间歇式嵌入式系统的推理
该论文提出了一种新的软件系统 SONIC，该系统支持 DNN 推理，并引入一种名为 loop continuation 的技术，大幅减少了能量收集系统上正确执行 DNN 推理的成本。实验结果表明，SONIC 和 TAILS 可以实现更高的能
PDF6 years ago