Oct, 2015

ZNN - 一个快速可扩展的算法，用于在多核和众核共享内存机器上训练 3D 卷积网络

PDF
TL;DR本研究介绍了一种基于任务分解的并行算法 ZNN，它能够在计算机视觉中应用广泛的卷积神经网络中实现 PRAM 模型下的线性加速，通过时间局部化和一种几乎无等待的并发方法，此算法能够在共享内存机器上达到与物理核心数量相当的加速效果，适用于宽网络结构。此算法基于 CPU 的任务并行性，与 GPU 的 SIMD 并行性相比，ZNN 的开发和维护成本相对较低。
convolutional networkscomputer visionparallel algorithmpram modelznn
发现论文，激发创造
  • 多核上的深层张量卷积

    通过扩展和优化快速 Winograd 级卷积算法，我们在 CPU 硬件上最大化 CPU 利用率及多核可伸缩性，处理了视频和体积图像分析中的空时特征，并证明了与之前的最先进技术相比，吞吐量提高了 5 到 25 倍。

    Nov, 2016

  • DNNVM: FPGA-based CNN 加速器上利用异构优化的端到端编译器

    本文提出了用于深度学习框架的全栈编译器 DNNVM，通过优化图表现形式、循环和数据布局、关键算法和支持验证等，将复杂的 CNN 模型转换成有向无环图（XGraph）并利用启发式子图同构算法枚举所有潜在的融合机会，并在全计算图中搜索执行策略的最佳选择， 在 Xilinx ZU9 @330 MHz 等设备上实现了与最新算法同等状态的性能，最终在 VGG 和 ResNet50 上达到了最先进的性能。

    Feb, 2019

  • FINN: 快速可伸缩二值神经网络推理框架

    本文介绍 FINN，一种用于构建快速、灵活的 FPGA 加速器的框架，该框架使用灵活的异构流式架构，并利用一组优化，将二值化神经网络映射到硬件上，从而实现完全连接、卷积和池化层，同时满足用户提供的吞吐量要求。在低于 25W 的总系统功率下，该平台在 MNIST 数据集上表现出高达 1230 万次图像分类每秒，0.31 微秒的延迟和 95.8％的准确率，在 CIFAR-10 和 SVHN 数据集上表现出 21906 次和 283 微秒的延迟、80.1％和 94.9％的准确率，这是目前这些基准测试中报道的最快的分类率。

    Dec, 2016

  • 使用快速傅里叶变换和重叠相加的卷积神经网络极其高效训练

    使用 “重叠相加” 技术和快速傅里叶变换来减少卷积神经网络中卷积层的计算时间，实现了更高效的向前和向后传播。

    Jan, 2016

  • 卷积神经网络的快速算法

    研究使用 Winograd 最小滤波算法加速卷积神经网络在 GPU 上的训练，以满足自动驾驶汽车行人检测和移动电话图像识别的低延迟和有限资源处理要求。

    Sep, 2015

  • 基于 FPGA 的混合高效卷积算法的人脸识别

    本研究通过探索多种快速卷积算法，包括 Winograd 和 FFT，并发现了一种将它们应用于不同类型卷积的最佳策略；实现在基于高级综合的可配置 IP 人脸识别加速系统中使用 FaceNet，并利用并行化的优化方案在新型 CNN 体系结构上，实现比高端 NVIDIA GPU 快 3.75 倍的延迟加速，并显著超过先前的 FPGA 结果。

    Mar, 2018

  • 通过 FFT 快速训练卷积神经网络

    本文提出了一种使用 Fourier 变换和 GPU 架构，加速卷积网络的训练和推理的算法，并在现有技术的基础上取得了数量级上的改善。

    Dec, 2013

  • SCNN：压缩稀疏卷积神经网络加速器

    该论文介绍了一种名为 Sparse CNN 的卷积神经网络加速器体系结构，它可以通过利用 CNN 训练期间的网络修剪所产生的零值权重以及推理期间常见的 ReLU 算子产生的零值激活来提高性能和能源效率，从而减少数据传输和存储要求，并通过一种新型数据流方式有效地传递权重和激活值到乘法器阵列。该加速器在现代神经网络上可以将性能和能源效率分别提升 2.7 倍和 2.3 倍。

    May, 2017

  • 多核 NPUs 的张量切片和优化

    提出了一种用于高度约束的多核心神经处理器单元的 TensorFlow XLA/LLVM 编译器优化方法，名为 Tensor Slicing Optimization (TSO)，这种方法最大限度地提高了 NPU 核心的卷积并行性和内存使用率，并使用 DRAM 内存突发时间估计来指导张量切片，以减少主机和 NPU 芯片内存之间的数据传输，很大程度上缩短了执行时间。

    Apr, 2023

  • 为定制硬件加速器编译深度学习模型

    本研究旨在提出一种编译器，通过 Torch7 模型描述文件生成机器级指令，并实现了一种与卷积神经网络相关的定制硬件加速器 Snowflake，优化了模型结构解析、CNN 负载分解、内存带宽优化和平衡内存访问等方面，以达到生成的指令的性能与手动优化代码相当，并有效地执行 AlexNet 和 ResNet18 推理任务。

    Aug, 2017