A&B BNN: 仅支持加和位运算的硬件友好型二进制神经网络

CVPRMar, 2024

A&B BNN: 仅支持加和位运算的硬件友好型二进制神经网络

A&B BNN: Add&Bit-Operation-Only Hardware-Friendly Binary Neural Network

Ruichen Ma, Guanchao Qiao, Yian Liu, Liwei Meng, Ning Ning...

TL;DR二进制神经网络使用 1 位量化的权重和激活来减少模型的存储需求和计算负担。本文提出了 A&B BNN，在传统的 BNN 中直接移除了一部分乘法运算并用相等数量的位运算代替其余部分，引入了掩码层和基于无正则化网络架构的量化 RPReLU 结构。掩码层可以通过数学变换避免相关的乘法运算。量化 RPReLU 结构通过限制其斜率为 2 的整数幂，实现更高效的位运算。实验结果在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上分别达到 92.30%、69.35% 和 66.89%，与最先进方法相当。消融实验验证了量化 RPReLU 结构的有效性，与使用固定斜率 RLeakyReLU 相比，在 ImageNet 上提升了 1.14%。提出的仅添加位操作的 BNN 为硬件友好型网络架构提供了创新的方法。

Abstract

binary neural networks utilize 1-bit quantized weights and activations to reduce both the model's storage demands and computational burden. However, advanced binary architectures still incorporate millions of inefficient and nonhardware-friendly full-precision multiplication operations

binary neural networks bnn mask layer quantized rprelu structure bit operations

发现论文，激发创造

位元神经网络

通过提出一种基于二进制值的神经网络训练方法 (BNN)，实现了通过基本的比特逻辑实现神经网络的前向传递。在资源受限的环境中，BNN 可以取代浮点数运算，减少存储空间占用、内存带宽、以及硬件能耗。同时，我们提出了权重压缩和噪声反向传播等训练技术，生成功能基本与实数网络相当的 BNN。通过在 MNIST 数据集上进行实验，我们证明了 BNN 表现出竞争性的性能并节省大量计算资源。

Jan, 2016

Sub-bit 神经网络：学习压缩和加速二进制神经网络

介绍了一种基于子位二值化的神经网络设计，通过针对二值卷积核子集训练，使用随机采样和优化步骤来调整这些子集，从而压缩和加速二值神经网络的模型。实验证明，该方法在图像识别基准和 FPGA 硬件部署上具有巨大潜力，可以在适度降低识别准确度的情况下实现运行时间加快和模型压缩。

Oct, 2021

二进制神经网络中的数据流优化

通过引入剪裁块，减少二元神经网络层的数据宽度和内部累加器大小，同时优化批标准化层的实现和 ARM 指令集的二值化卷积，提高了推理速度和准确度。

Apr, 2023

回归简单：如何从头训练准确的二值神经网络？

本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构 BinaryDenseNet，并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。

Jun, 2019

ReBNet: 残差二值化神经网络

提出了 ReBNet 框架，用于训练可重构的二进制神经网络并在 FPGA 上执行，通过多级二值化提高分类准确性同时满足资源有限的设备要求。

Nov, 2017

神经网络的 8 位训练可扩展方法

本文探讨了如何通过量化神经网络中的训练参数、激活值、层梯度以及批标准化等内容，最终将图像分类精度控制在一个很好的水平，而这在过去被认为不可行。

May, 2018

Bi-Real Net: 将深度网络二值化以实现真实网络性能

本文研究了一比特卷积神经网络，通过使用 Bi-Real net 和新颖的训练算法来提高其表现能力和训练困难性，并在 ImageNet 上获得了 56.4％的 top-1 分类准确性，比现有技术提高了 10％以上。

Nov, 2018

量化神经网络：用低精度权重和激活训练神经网络

本研究介绍了一种训练低精度神经网络的方法，该方法使用二进制操作代替计算，达到降低内存大小、减少电力消耗的目的。经过 MNIST、CIFAR-10、SVHN、ImageNet 和 Penn Treebank 数据集的测试，结果表明 1 位权重和 2 位激活的量化版本的 AlexNet 能够达到 51% 的准确率，训练过程中也能使用仅有的二进制操作实现损失函数的计算，并在损失部分的代码上进行了优化，使得 QNN 的运行速度能比未优化的 GPU 加速速度快七倍，并且没有影响分类准确性。

Sep, 2016

RepBNN: 通过重复以增强特征图的方式朝着更精确的二值神经网络迈进

本文介绍一种名称为 RepConv 的可替换并易于使用的卷积模块，通过在通道维度上复制输入或输出以增强特征图，以提高二进制神经网络（BNN）的性能和准确性，并使用 RepTran 规则在整个 BNN 模块中应用 RepConv 使得 BNN 在 CIFAR-10 和 ImageNet 数据集上均有显著的性能提升

Jul, 2022

可再配置逻辑上二值神经网络的扩展

该论文研究了如何在 BNN 网络中使用 padding 提高分类准确率的同时，仍然保持 1 位数据通路。作者展示了该方法的灵活性和可扩展性，并在 ADM-PCIE-8K5 平台上实现了大型 BNN 分类的快速和精确。

Jan, 2017