Mar, 2018

XNORBIN：一款用于二值卷积神经网络的 95 TOp/s/W 硬件加速器

PDF
TL;DR研究表明，使用极端量化可以将 CNN 的权重和中间特征图二值化，从而节省内存并将能量密集型的乘积操作转换为 XNOR 和 popcount 操作，我们提出的二值 CNN 加速器 XNORBIN 在低功率嵌入式系统中具有紧密耦合的计算和内存，能够实现 95 TOp/s/W 的能量效率和 2.0 TOp/s/MGE 的面积效率。
发现论文，激发创造
  • XNOR 神经引擎：一种用于 21.6 fJ/op 的硬件加速器 IP，用于二进制神经网络推理

    本文介绍了一种以 XNOR 神经引擎为核心的全数字可配置硬件加速器 IP，它能够实现卷积和稠密层的全自动计算，还能够与 MCU 的内核协同工作，实现更复杂的行为。该系统的能量成本仅为每个二进制操作 21.6fJ，足够执行最先进的 BNN 拓扑结构。

    Jul, 2018

  • 使用二进制卷积神经网络进行 ImageNet 分类的 XNOR-Net

    本文提出了两种卷积神经网络的高效近似方案：二进制权重网络和 XNOR - 网络，其中 XNOR - 网络既将卷积层输入又将滤波器二值化，主要利用二值运算来近似卷积，这使得卷积速度快 58 倍且内存占用仅为原来的 1/32，而且其分类性能在 ImageNet 数据集上也优于其他网络二值化方法。

    Mar, 2016

  • YodaNN: 超低功耗二进制卷积神经网络加速架构

    本文介绍了一种用于二进制权重卷积神经网络的加速器，能够在 1.2V 下实现 1510 GOp/s 的运算，且在 0.6V 下消耗 895 μW 的功率。这个加速器比先前的最新技术在能量和面积效率方面都有很大的优势。

    Jun, 2016

  • XNOR-Net++: 二值神经网络的改进

    本文提出了一种改进的训练算法，用于针对二元神经网络的权重和激活二进制数的训练，提出了一种新的比 XNOR-Net 更优的方法，通过反向传播学习判别式融合激活和权重缩放因子。实验表明，与分析计算的结果相比，我们的方法更加准确，且在相同的计算预算下，可在 ImageNet 分类任务中提供高达 6% 的准确性提升。

    Sep, 2019

  • Xcel-RAM：高吞吐 SRAM 计算阵列中的二值神经网络加速

    本文提出了一种在 SRAM 阵列内加速二进制卷积的方法，包括基于电荷共享的 XNOR 和 popcount 运算以及在读位线上添加开关实现 SRAM 阵列分段，采用这种方法可以大大改善整个系统的吞吐量和能耗效率。

    Jul, 2018

  • 二进制神经网络中的数据流优化

    通过引入剪裁块，减少二元神经网络层的数据宽度和内部累加器大小，同时优化批标准化层的实现和 ARM 指令集的二值化卷积，提高了推理速度和准确度。

    Apr, 2023

  • ReBNet: 残差二值化神经网络

    提出了 ReBNet 框架，用于训练可重构的二进制神经网络并在 FPGA 上执行，通过多级二值化提高分类准确性同时满足资源有限的设备要求。

    Nov, 2017

  • 使用图灵 GPU 中的位张量核加速二值神经网络

    通过使用新一代 GPU 芯片中的张量核心实现 “二值神经网络” 设计中点乘和卷积的操作，使其在处理 ImageNet 数据集时比现有软件实现快出 77％，从而显著提高性能。

    Jun, 2020

  • 实时大规模 ConvNets 的 0.3-2.6 TOPS/W 精度可扩展处理器

    该研究实现了一种低功耗、可精确可扩展的卷积神经网络处理器，其充分利用卷积的稀疏性和动态精度可扩展性，实现了供应和能量缩放，能够在保持吞吐量的情况下最小化能量消耗，同时其实现的效率从 0.3-2.6 实际 TOPS/W，超越了同类产品达到 3.9 倍的能效。

    Jun, 2016

  • BEANNA: 用于神经网络加速的二进制能力架构

    该研究提出并评估了一种用于神经网络加速的二进制启用体系结构（BEANNA），该体系结构采用 16x16 systolic array 矩阵乘法器和可同时处理浮点数和二进制乘加的处理单元。该体系结构可以在高精度浮点数和二进制网络层之间无缝切换，并在混合网络上得到了显著的加速和能耗和内存降低。

    Aug, 2021