Dec, 2017

位加速：一种位级动态可组合架构，用于加速深度神经网络

PDF
TL;DR本文提出一种新的 DNN 加速器设计 ——Bit Fusion，通过引入动态位级融合／分解，实现了对 DNN 层位宽进行动态匹配，提高了计算性能且无损精度。通过与现有 DNN 加速器模型的比较实验，Bit Fusion 在面积、频率与工艺技术相同的情况下，相较于 Eyeriss 加速了 3.9 倍并节省了 5.1 倍的能源，相较于 Stripes 加速了 2.6 倍并减少了 3.9 倍的能源。在 16nm 的 GPU 技术节点上，Bit Fusion 的性能远超过使用 8 位向量指令的 250 瓦 Titan Xp，消耗仅为 895 毫瓦。
dnnsbitwidthacceleratorsbit fusionenergy savings
发现论文，激发创造
  • 神经加速的位并行向量可组合性

    本文提出了一种新的神经加速器设计风格，应用了位级并行和数据级并行，通过动态组合位级引擎来生成结果。这种设计风格能够提高性能和降低能耗。

    Apr, 2020

  • 使用图灵 GPU 中的位张量核加速二值神经网络

    通过使用新一代 GPU 芯片中的张量核心实现 “二值神经网络” 设计中点乘和卷积的操作，使其在处理 ImageNet 数据集时比现有软件实现快出 77％，从而显著提高性能。

    Jun, 2020

  • 二进制神经网络中的数据流优化

    通过引入剪裁块，减少二元神经网络层的数据宽度和内部累加器大小，同时优化批标准化层的实现和 ARM 指令集的二值化卷积，提高了推理速度和准确度。

    Apr, 2023

  • 在嵌入式 FPGA 中加速混合极低位宽神经网络的设计流程

    在嵌入式 FPGA 中，通过混合量化方案加速极低比特宽度神经网络（ELB-NN），提出了一种设计流程，既涵盖了网络的训练，也包含了基于 FPGA 的网络部署，从而方便设计者探索设计空间，简化网络精度和计算效率之间的权衡，巧妙地在资源和功耗限制条件下提供边缘设备中的网络加速器，实现高达 10.3 TOPS 的高性能，每瓦分类达到 325.3 张图像。在文献中，我们比较了 GPU 或其他 FPGA 实现，结果显示出目前最省能的解决方案。

    Jul, 2018

  • 可再配置逻辑上二值神经网络的扩展

    该论文研究了如何在 BNN 网络中使用 padding 提高分类准确率的同时，仍然保持 1 位数据通路。作者展示了该方法的灵活性和可扩展性，并在 ADM-PCIE-8K5 平台上实现了大型 BNN 分类的快速和精确。

    Jan, 2017

  • 通过多级原位生成实现内存高效神经网络

    本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率 10-20 倍。

    Aug, 2021

  • FracBNN：具有分数激活的准确和 FPGA 高效二值神经网络

    研究提出了一个名为 FracBNN 的新型二进制神经网络模型，利用分数激活方法，通过双精度激活方案和新型冷却器编码等技术解决旧模型在现实数据集（如 ImageNet）表现不佳的问题。FracBNN 可以实现同等规模的 MobileNetV2 的精准率，且模型尺寸减少了 2.5 倍。在嵌入式 FPGA 设备上，FracBNN 显示出实时图像分类的能力。

    Dec, 2020

  • DNNVM: FPGA-based CNN 加速器上利用异构优化的端到端编译器

    本文提出了用于深度学习框架的全栈编译器 DNNVM，通过优化图表现形式、循环和数据布局、关键算法和支持验证等，将复杂的 CNN 模型转换成有向无环图（XGraph）并利用启发式子图同构算法枚举所有潜在的融合机会，并在全计算图中搜索执行策略的最佳选择， 在 Xilinx ZU9 @330 MHz 等设备上实现了与最新算法同等状态的性能，最终在 VGG 和 ResNet50 上达到了最先进的性能。

    Feb, 2019

  • 自动流程实现压缩卷积神经网络，以实现 FPGA 上的高效边缘计算

    本文研究了一种从训练好的 TensorFlow 模型到基于 FPGA 的二值化卷积神经网络系统的自动流程，并在 Cyclone-V FPGA 设备上实现了二值化的 YOLOV2，通过在目标检测上的实验，证明了与 CPU 和移动 CPU 平台相比，在 FPGA 上进行二值化幻化的模型大小和推理速度都有显著的性能提升。

    Dec, 2017

  • 深度网络中使用较低位宽累加器实现更廉价的推理

    我们提出了一种简单的方法来训练和微调高端深度神经网络，首次允许使用更廉价的 12 位累加器，而不会出现显著的准确度降低。最后，我们证明，通过进一步降低累加器的精度，并使用细粒度梯度逼近可以提高深度神经网络的准确性。

    Jan, 2024