Jun, 2023

带有卷积操作和且非卷积操作的 DNN 推理 / 训练性能分析

PDF
TL;DR本文提出了一种针对深度学习加速器的性能分析框架 ——SimDIT，旨在覆盖卷积和非卷积操作，并提供详细的执行 CNN 推断和训练工作量的端到端性能统计，结果显示，在使用一个 64X64 处理阵列时，ResNet-50 训练工作量的非卷积操作占总运行时间的 59.5％。此外，通过优化可用的片外 DRAM 带宽和片上 SRAM 资源的分配，SimDIT 实现了比 ResNet-50 推理的通用静态资源分配高出 18 倍的性能提升。
发现论文，激发创造
  • 基于 SIMD 架构的高性能深度学习卷积解剖学

    本文介绍了针对 x86 体系结构的直接卷积核和动态编译方法实现的 JIT 优化内核，该内核可在多节点下高效执行最新的图像识别任务，使单机和多节点运行时高效地通过 CPU 执行任务的高吞吐量。

    Aug, 2018

  • 嵌入式推理加速器硬件架构及深度卷积和大核卷积算法分析

    该论文提出了一种硬件架构，以高灵活性处理深度卷积和常规卷积，支持不同大小的卷积核，具有比相关工作更快的速度和更少的计算和模型大小。此外，DDC 层的使用可以减少计算成本和模型大小，并提高准确性。

    Apr, 2021

  • SIMD 数据流协同优化用于 CPU 上高效神经网络推理

    通过使用数据流和启发式引导分析及代码生成框架，我们致力于解决在 CPU 上部署神经网络时所面临的挑战，特别注重在保持准确性的同时最小化推断时间。我们的研究结果表明，通过保持输出在 SIMD 寄存器中的数据流，并同时最大限度地利用输入和权重重用，可以实现各种推断工作负载的最佳性能，使 8 位神经网络的速度提高 3 倍，二进制神经网络的速度提高 4.8 倍。

    Oct, 2023

  • DeepFire2：一种基于 FPGAs 的卷积脉冲神经网络加速器

    DeepFire2 是一种新型的硬件架构，能够在多个逻辑区域上高效地映射大型网络层，大大提高了吞吐量和能源利用率，同时避免了查找表对 SNN 逻辑资源的限制，能够部署大型的 ImageNet 模型，保持每秒超过 1500 帧的吞吐量。

    May, 2023

  • 面向仅限 CAM 的 DNN 推理的全栈优化

    基于赛道存储器 (RTM) 实现的关联处理器 (APs) 和三值权重神经网络的算法优化结合的新型编译流路，可显著提高 ResNet-18 在 ImageNet 上的能效，同时保持软件准确性。

    Jan, 2024

  • 使用全卷积网络进行快速图像处理

    使用全卷积网络进行运算符逼近可以显著提高逼近精度，降低运行时间和内存开销。在输入输出对上的训练可以将原始运算符逼近，并且可以对多种不同的高级图像处理运算符进行逼近，包括多种变分模型、多尺度调节和明暗细节操作等。

    Sep, 2017

  • 移动计算机视觉卷积神经网络的延迟和吞吐量特征化

    本文研究了用于移动计算机视觉系统的卷积神经网络性能特征，使用不同的硬件平台和软件框架以及本地和远程计算，并指出存在重要的延迟 - 吞吐量折衷，并阐述影响性能的几个因素。

    Mar, 2018

  • FINN: 快速可伸缩二值神经网络推理框架

    本文介绍 FINN，一种用于构建快速、灵活的 FPGA 加速器的框架，该框架使用灵活的异构流式架构，并利用一组优化，将二值化神经网络映射到硬件上，从而实现完全连接、卷积和池化层，同时满足用户提供的吞吐量要求。在低于 25W 的总系统功率下，该平台在 MNIST 数据集上表现出高达 1230 万次图像分类每秒，0.31 微秒的延迟和 95.8％的准确率，在 CIFAR-10 和 SVHN 数据集上表现出 21906 次和 283 微秒的延迟、80.1％和 94.9％的准确率，这是目前这些基准测试中报道的最快的分类率。

    Dec, 2016

  • 深度神经网络模型在实践应用中的分析

    本文对深度神经网络在计算机视觉领域中的重要应用指标进行全面分析，发现能耗与批次大小和架构无关，准确度和推断时间在双曲线关系中，能源约束是最大可实现准确度和模型复杂度的上限，操作次数是推断时间的可靠估计。

    May, 2016

  • CBinfer：利用帧间局部性加速卷积神经网络对视频流的推断

    采用新算法利用空间 - 时间稀疏性在计算机视觉中取得了高能效，即使在嵌入式设备上不需要重新训练网络，也可在语义分割应用中达到快速且准确的实时推断

    Aug, 2018