基于二进制神经网络的设备上学习

Aug, 2023

基于二进制神经网络的设备上学习

On-Device Learning with Binary Neural Networks

Lorenzo Vorabbi, Davide Maltoni, Stefano Santi

TL;DR现有的连续学习解决方案只在将深度学习模型部署在低功率嵌入式 CPU 上时部分地解决了功耗、内存和计算的限制。本文提出了一种连续学习解决方案，它结合了连续学习领域的最新进展和二值神经网络（BNN）的高效性，该网络使用 1 位用于权重和激活以高效执行深度学习模型。我们提出了一种混合量化的 CWR*（一种有效的连续学习方法），它在前向和反向传播时考虑了不同的因素，以保留在梯度更新步骤和最小化延迟开销时的更高精度。选择二值网络作为基础是满足低功率设备限制的关键，据作者所知，这是首次尝试证明使用 BNN 进行设备上学习的方法。进行的实验验证了所提方法的有效性和适用性。

Abstract

Existing continual learning (CL) solutions only partially address the constraints on power, memory and computation of the deep learning models when deployed on low-power embedded CPUs. In this paper, we propose a

continual learning deep learning models binary neural networks hybrid quantization on-device learning

发现论文，激发创造

使用二进制神经网络实现设备上的持续学习

提出了一种将连续学习和二进制神经网络结合起来的解决方案，同时在设备上进行训练并保持竞争性的性能，该方法利用二进制潜在重播激活和一种新的量化方案，显著减少了梯度计算所需的位数，实验证实了模型的准确性和对内存需求的明显减少，从而扩展了深度学习在实际场景中的应用。

Jan, 2024

二值神经网络的综合评述

本文全面评述了二值神经网络（BNN）的发展历程，从祖先算法到最新算法 / 技术，提出了一种广泛的设计流程，并讨论了每个模块的变体。此外，还介绍了 BNN 的应用，以及其潜在的发展方向和未来研究机会。

Oct, 2021

使用训练二值化的准确紧凑卷积神经网络

本文提出了一种改进的训练方法来提高具有更高准确性的紧凑型二值化 CNN，其中可训练的权重和激活的比例因子被引入以增加值范围，并通过反向传播与其他参数一起进行训练。通过这些改进，与前人工作相比，本文二值化 CNN 在 CIFAR-10 上的准确度达到 92.3％，在 ImageNet 上，我们的方法用 AlexNet 获得 46.1％的 top-1 准确度，用 Resnet-18 获得 54.2％的 top-1 准确度。

Sep, 2019

从头开始训练竞争二进制神经网络

研究二进制神经网络的训练策略和在移动和嵌入式设备上应用的性能，通过采用一种更简单的训练策略，成功提高了二进制神经网络的性能并在标准数据集上取得了最新成果，还成功将具有密集连接的网络架构引入二进制网络领域。

Dec, 2018

贝叶斯优化的 1 比特卷积神经网络

提出一种新颖的方法，名为 Bayesian optimized 1-bit CNNs（简称 BONNs），利用贝叶斯优化后的 1-bit CNNs 极大程度地改善了其性能，能够在资源受限的环境中获得最佳分类性能，尤其在 ImageNet 上。

Aug, 2019

Sub-bit 神经网络：学习压缩和加速二进制神经网络

介绍了一种基于子位二值化的神经网络设计，通过针对二值卷积核子集训练，使用随机采样和优化步骤来调整这些子集，从而压缩和加速二值神经网络的模型。实验证明，该方法在图像识别基准和 FPGA 硬件部署上具有巨大潜力，可以在适度降低识别准确度的情况下实现运行时间加快和模型压缩。

Oct, 2021

LightNN: 填补传统深度神经网络与二值化网络之间的差距

本文提出一种新的 DNN 模型 LightNN，它将乘法替换成一次位移或约束数量的位移和加法，为硬件设计者提供了更多在精度和能耗之间取得平衡的选项，并且验证实验表明，LightNN 在大型 DNN 配置下具有优于传统 DNN 和 BNN 的精度和能效优势。

Dec, 2017

回归简单：如何从头训练准确的二值神经网络？

本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构 BinaryDenseNet，并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。

Jun, 2019

位元神经网络

通过提出一种基于二进制值的神经网络训练方法 (BNN)，实现了通过基本的比特逻辑实现神经网络的前向传递。在资源受限的环境中，BNN 可以取代浮点数运算，减少存储空间占用、内存带宽、以及硬件能耗。同时，我们提出了权重压缩和噪声反向传播等训练技术，生成功能基本与实数网络相当的 BNN。通过在 MNIST 数据集上进行实验，我们证明了 BNN 表现出竞争性的性能并节省大量计算资源。

Jan, 2016

TinyCL：自主系统上用于持续学习的高效硬件架构

在资源受限的自主系统上执行连续学习的第一个硬件加速器 TinyCL，通过执行前向传播和反向传播，并进行内存管理和控制，实现了在训练模型上的高效率和高速度。

Feb, 2024