Nov, 2023

使用遗传算法改进 CNN 加速器的层间流水线

PDF
TL;DR通过图形排序的遗传算法，我们开发了一种针对卷积神经网络的层融合技术，减少了边缘平台上的数据传输，从而提高了能效和能延迟乘积（EDP），在类似 SIMBA 移动架构上的 MobileNet-v3 中实现了 1.8 倍的能效提升和 1.9 倍的 EDP 改善。我们的方法对 SIMBA 平台和 Eyeriss 平台的工作负载性能一致改善，平均 EDP 改善 1.4 倍和 1.12 倍。
convolutional neural networksedge platformshardware accelerationlayer fusion techniquegenetic algorithm
发现论文，激发创造
  • Evolving CNN 拓扑结构的两个新性能改进

    本文介绍了两种新方法，通过直接在训练时间上实现正则化和使用部分训练来尽早评估个体架构，有效地减少了复杂性和训练时间，从而生产出有效地 CNN 拓扑结构，提高图像识别准确率，开销减少达 20%。这两种方法均经 CIFAR10 基准数据集验证以及保持准确度。

    Feb, 2021

  • 通过资源分割最大化 CNN 加速器效率

    提出了基于 FPGA 的卷积神经网络加速器范例和相应的自适应设计方法，该加速器范例将 FPGA 资源分割成多个处理器，提高卷积神经网络的计算效率和吞吐量

    Jun, 2016

  • 深度学习系统的超高性能和能量效率：一种算法 - 硬件协同优化框架

    本文旨在实现深度神经网络硬件实现的超高能效和性能，提出一种面向不同类型、大小和应用场景的 DNN 算法 - 硬件协同优化框架，并在硬件部分采用高效的 FPGA 实现，实验表明与 IBM TrueNorth 处理器和参考的 FPGA 实现相比，该框架至少实现了 152 倍的加速和 71 倍的能效增益。

    Feb, 2018

  • 机器学习辅助的卷积神经网络推断系统计算机架构设计

    我们的工作通过识别最合适的 GPGPU 用于 CNN 推理系统，提出了一种加快 DSE 过程的方法。我们开发了一种快速而精确的技术来预测 CNN 推理过程中的功耗和性能，MAPE 分别为 5.03％和 5.94％。这种方法使计算机架构师能够在开发初期估计功耗和性能，减少了大量原型的必要性。这不仅节省了时间和金钱，同时也改善了上市时间。

    Aug, 2023

  • 一种基于 FPGA 的加速器，实现对任意核大小的 CNN 的高效支持

    使用 FPGA 的推断加速器，通过优化计算数据流、降低存储需求和优化卷积神经网络的部署，实现了支持任意核大小的卷积神经网络的高效部署，从而在各种基于视觉的应用中取得了卓越的性能。

    Feb, 2024

  • 使用遗传算法进行卷积神经网络的多目标剪枝

    提出了一种启发式遗传算法（GA）来剪枝卷积神经网络（CNN），在错误、计算和稀疏性之间进行多目标权衡，经实验证明，GA 可以根据预定义的适应度函数自动剪枝 CNN，得到竞争性的压缩性能。

    Jun, 2019

  • 一种深层神经网络压缩的新型通道修剪方法

    本文提出了一种基于遗传算法的新型通道剪枝方法，通过分层和知识蒸馏框架的剪枝中，显著降低了模型的冗余，并在三个基准数据集上验证其性能。

    May, 2018

  • 使用深度可分离卷积在 FPGA 上加速卷积神经网络

    本文中，提出了一种可扩展的高性能深度可分离卷积优化的卷积神经网络加速器，适用于不同大小的 FPGA，可以实现 GPU 级别的卷积操作，提高了计算速度。在 Arria 10 SoC FPGA 上实现了 MobileNetV2，并取得了比 CPU 快 20 倍的结果。

    Sep, 2018

  • Arria 10 上的 OpenCL (TM) 深度学习加速器

    利用深度学习加速器（DLA）和 Winograd 变换技术，我们在 Intel Arria 10 设备上实现了 1020 图像 / 秒的性能，比 FPGA 上最先进的技术快 10 倍，同时也具有 5.8 倍的更高效率，并且与 nVidia TitanX GPU 上基于 AlexNet 的最佳公开实现比 23 img/s/W 具有竞争力。

    Jan, 2017

  • GraphACT: 在 CPU-FPGA 异构平台上加速 GCN 训练

    通过 CPU-FPGA 异构系统，我们设计了一种新型加速器，通过算法 - 架构协同优化，提升 Graph Convolutional Networks 训练的速度。我们采用子图算法，优化特征传播，并提出基于 systolic array 的设计，实现了如此高效的加速。在 Xilinx Alveo U200 及 40 核 Xeon 服务器上，我们的设计比现有多核平台的最新实现快一个数量级，且几乎没有精度损失。

    Dec, 2019