ECCVApr, 2021

嵌入式推理加速器硬件架构及深度卷积和大核卷积算法分析

PDF
TL;DR该论文提出了一种硬件架构，以高灵活性处理深度卷积和常规卷积，支持不同大小的卷积核，具有比相关工作更快的速度和更少的计算和模型大小。此外，DDC 层的使用可以减少计算成本和模型大小，并提高准确性。
发现论文，激发创造
  • 使用深度可分离卷积在 FPGA 上加速卷积神经网络

    本文中，提出了一种可扩展的高性能深度可分离卷积优化的卷积神经网络加速器，适用于不同大小的 FPGA，可以实现 GPU 级别的卷积操作，提高了计算速度。在 Arria 10 SoC FPGA 上实现了 MobileNetV2，并取得了比 CPU 快 20 倍的结果。

    Sep, 2018

  • 一种基于 FPGA 的加速器，实现对任意核大小的 CNN 的高效支持

    使用 FPGA 的推断加速器，通过优化计算数据流、降低存储需求和优化卷积神经网络的部署，实现了支持任意核大小的卷积神经网络的高效部署，从而在各种基于视觉的应用中取得了卓越的性能。

    Feb, 2024

  • 基于 SIMD 架构的高性能深度学习卷积解剖学

    本文介绍了针对 x86 体系结构的直接卷积核和动态编译方法实现的 JIT 优化内核，该内核可在多节点下高效执行最新的图像识别任务，使单机和多节点运行时高效地通过 CPU 执行任务的高吞吐量。

    Aug, 2018

  • 深度锚定卷积神经网络

    本文介绍了一种名为 Deep Anchored Convolutional Neural Network (DACNN) 的卷积神经网络架构，它使用单个卷积核并采用权重共享技术进行网络压缩，同时增加了一个名为 regulators 的易于插入的模块来提高性能，在 CIFAR-10、CIFAR-100 和 SVHN 数据集上验证了其准确性与显著的内存节省。

    Apr, 2019

  • 双卷积神经网络

    本文提出了一种新的卷积神经网络模型，称为双卷积神经网络，该模型通过共享权重参数进行优化，在图像分类领域有着显著的性能提升。在 CIFAR-10，CIFAR-100 和 ImageNet 等图像分类基准测试中，该模型的性能均显著优于其他竞争模型。同时，本文还说明了双卷积神经网络在多方面性能均有体现，既可以构建更准确的模型，又可以以牺牲一定准确性的代价来减少模型的内存占用。

    Oct, 2016

  • 深度学习系统的超高性能和能量效率：一种算法 - 硬件协同优化框架

    本文旨在实现深度神经网络硬件实现的超高能效和性能，提出一种面向不同类型、大小和应用场景的 DNN 算法 - 硬件协同优化框架，并在硬件部分采用高效的 FPGA 实现，实验表明与 IBM TrueNorth 处理器和参考的 FPGA 实现相比，该框架至少实现了 152 倍的加速和 71 倍的能效增益。

    Feb, 2018

  • 对角重构：一种用于深度卷积的高效训练方法

    本文提出了一种名为 Diagonalwise Refactorization 的有效方法，用于加速深度卷积层的训练，并在 5 个流行的深度学习框架中实现。实验结果表明，相对于深度卷积的原始实现，该方法在 Darknet 上获得了 15.4 倍的加速，Caffe 上获得了 8.4 倍的加速，PyTorch 上获得了 5.4 倍的加速，MXNet 上获得了 3.5 倍的加速，TensorFlow 上获得了 1.4 倍的加速。

    Mar, 2018

  • 动态卷积：卷积核的注意力机制

    提出一种名为 Dynamic Convolution 的新设计，基于卷积核的注意力动态地聚合多个并行卷积核，从而增加模型复杂度，提高卷积神经网络的表示能力，有效提高 MobileNetV3-Small 模型在 ImageNet 分类任务上的精度。

    Dec, 2019

  • 在超低功耗设备上加速深度可分卷积

    通过融合不同数据布局，我们探索了较传统卷积更高效的深度可分离卷积块，目标是在商业超低功耗设备上减少执行网络的延迟时间最多 11.40%，同时将 L2 和 L1 内存之间的激活数据移动减少最多 52.97%。

    Jun, 2024

  • 多核上的深层张量卷积

    通过扩展和优化快速 Winograd 级卷积算法，我们在 CPU 硬件上最大化 CPU 利用率及多核可伸缩性，处理了视频和体积图像分析中的空时特征，并证明了与之前的最先进技术相比，吞吐量提高了 5 到 25 倍。

    Nov, 2016