二进制神经网络中的数据流优化
本文提出了一种名为 BoolNet 的二值神经网络(BNN)架构,该架构不使用常见的 32 位组件,能够在不影响准确性的情况下减少能源消耗,并且与现有的 BNN 架构 Bi-RealNet 相比,能够获得高达 1.2% 的额外准确性和 4.6 倍的能量降低。
Jun, 2021
该论文研究了如何在 BNN 网络中使用 padding 提高分类准确率的同时,仍然保持 1 位数据通路。作者展示了该方法的灵活性和可扩展性,并在 ADM-PCIE-8K5 平台上实现了大型 BNN 分类的快速和精确。
Jan, 2017
通过提出一种基于二进制值的神经网络训练方法 (BNN),实现了通过基本的比特逻辑实现神经网络的前向传递。在资源受限的环境中,BNN 可以取代浮点数运算,减少存储空间占用、内存带宽、以及硬件能耗。同时,我们提出了权重压缩和噪声反向传播等训练技术,生成功能基本与实数网络相当的 BNN。通过在 MNIST 数据集上进行实验,我们证明了 BNN 表现出竞争性的性能并节省大量计算资源。
Jan, 2016
本研究关注二值神经网络的训练精度问题,提出了一些新的设计原则,设计出了一种新的二值神经网络体系结构 BinaryDenseNet,并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。
Jun, 2019
本文介绍了一种对二值化神经网络进行训练的方法,并在 Torch7 和 Theano 两个框架下,对 MNIST、CIFAR-10 和 SVHN 数据集进行了实验,取得了近乎领先水平的结果。通过在前向传递过程中使用二值化的权重和激活值,可以大幅减少内存消耗,用位运算取代大多数算术运算,并且使用二进制矩阵乘法 GPU 内核可以比未优化的 GPU 内核快 7 倍,而不会损失分类准确度。
Feb, 2016
本文介绍了使用较低的精度来训练深度神经网络的成功实践,通过引入基于块的操作和浮点随机取整等技术,成功地实现了在 8 位浮点数下对多种深度学习模型和数据集进行了精确的训练。这些新技术为新一代硬件训练平台奠定了基础,并具有提高 2-4 倍吞吐量的潜力。
Dec, 2018
对二元神经网络进行了广泛的实验以了解其表示能力、速度及偏差 / 方差。提出了一种二元集成神经网络,通过集成方法来提高二元神经网络的性能,从而更快、更鲁棒,甚至能够超越具有相同结构的完全精确的浮点数网络的准确性。
Jun, 2018
本文提出了 daBNN 这一快速推理框架,基于二进制神经网络,通过特定的速度优化和内存优化策略,可以有效地在 ARM 设备上运行,并在单个二值卷积上比最近的 BMXNet 布尔神经网络推理框架快 7 倍到 23 倍,并在 Bi-Real Net 18 上比 BMXNet 快 6 倍。
Aug, 2019
介绍了一种基于子位二值化的神经网络设计,通过针对二值卷积核子集训练,使用随机采样和优化步骤来调整这些子集,从而压缩和加速二值神经网络的模型。实验证明,该方法在图像识别基准和 FPGA 硬件部署上具有巨大潜力,可以在适度降低识别准确度的情况下实现运行时间加快和模型压缩。
Oct, 2021
研究提出了一个名为 FracBNN 的新型二进制神经网络模型,利用分数激活方法,通过双精度激活方案和新型冷却器编码等技术解决旧模型在现实数据集(如 ImageNet)表现不佳的问题。FracBNN 可以实现同等规模的 MobileNetV2 的精准率,且模型尺寸减少了 2.5 倍。在嵌入式 FPGA 设备上,FracBNN 显示出实时图像分类的能力。
Dec, 2020