Nov, 2020

Larq Compute Engine: 设计、基准测试和部署最先进的二值神经网络

PDF
TL;DR本研究介绍了 Larq Compute Engine，这是世界上最快的二值（BNN）推理引擎，在此框架下探讨二值网络的效率，设计了一种新的最先进的二值神经网络架构，开发了 QuickNet。经实验证明它在 ImageNet 上的精度和延迟均已超过现有的二值网络。
binarized neural networklarq compute enginebinary convolutionsquicknetcomputer vision
发现论文，激发创造
  • 基于二进制神经网络的设备上学习

    现有的连续学习解决方案只在将深度学习模型部署在低功率嵌入式 CPU 上时部分地解决了功耗、内存和计算的限制。本文提出了一种连续学习解决方案，它结合了连续学习领域的最新进展和二值神经网络（BNN）的高效性，该网络使用 1 位用于权重和激活以高效执行深度学习模型。我们提出了一种混合量化的 CWR*（一种有效的连续学习方法），它在前向和反向传播时考虑了不同的因素，以保留在梯度更新步骤和最小化延迟开销时的更高精度。选择二值网络作为基础是满足低功率设备限制的关键，据作者所知，这是首次尝试证明使用 BNN 进行设备上学习的方法。进行的实验验证了所提方法的有效性和适用性。

    Aug, 2023

  • 使用二进制神经网络实现设备上的持续学习

    提出了一种将连续学习和二进制神经网络结合起来的解决方案，同时在设备上进行训练并保持竞争性的性能，该方法利用二进制潜在重播激活和一种新的量化方案，显著减少了梯度计算所需的位数，实验证实了模型的准确性和对内存需求的明显减少，从而扩展了深度学习在实际场景中的应用。

    Jan, 2024

  • LightNN: 填补传统深度神经网络与二值化网络之间的差距

    本文提出一种新的 DNN 模型 LightNN，它将乘法替换成一次位移或约束数量的位移和加法，为硬件设计者提供了更多在精度和能耗之间取得平衡的选项，并且验证实验表明，LightNN 在大型 DNN 配置下具有优于传统 DNN 和 BNN 的精度和能效优势。

    Dec, 2017

  • PokeBNN：轻量级准确性的二进制追求

    本文提出了 PokeConv，一个对二值神经网络 (BNNs) 卷积进行膨胀的方案，并对 ResNet-50 进行优化，进一步提高了准确性和网络的成本。通过定义算数计算代价 (ACE) 这样一个硬件和能源的成本度量标准，实现了准确性和成本的联合优化。此外，我们还发现了优化二进制跃迁的梯度近似的超参数的必要性。最终我们在 CPU64 成本、ACE 成本和网络大小这些公共度量标准下都取得了新的最佳成果，而且我们提出的 PokeBNN 型网络成本低、准确率高。

    Nov, 2021

  • 二值化神经网络

    本文介绍了一种对二值化神经网络进行训练的方法，并在 Torch7 和 Theano 两个框架下，对 MNIST、CIFAR-10 和 SVHN 数据集进行了实验，取得了近乎领先水平的结果。通过在前向传递过程中使用二值化的权重和激活值，可以大幅减少内存消耗，用位运算取代大多数算术运算，并且使用二进制矩阵乘法 GPU 内核可以比未优化的 GPU 内核快 7 倍，而不会损失分类准确度。

    Feb, 2016

  • 可再配置逻辑上二值神经网络的扩展

    该论文研究了如何在 BNN 网络中使用 padding 提高分类准确率的同时，仍然保持 1 位数据通路。作者展示了该方法的灵活性和可扩展性，并在 ADM-PCIE-8K5 平台上实现了大型 BNN 分类的快速和精确。

    Jan, 2017

  • PhoneBit: 移动手机高效 GPU 加速二值神经网络推断引擎

    本文提出了 PhoneBit，一种针对基于 Android 的移动设备的 GPU 加速二值神经网络推断引擎，旨在通过运用区别于桌面平台的架构，提出操作级优化方案，以挖掘移动 GPU 的计算能力，实现二值卷积的高效率，从而取得了相比移动设备上其它顶尖框架更为显著的速度加速和能量效率改进。

    Dec, 2019

  • 使用图灵 GPU 中的位张量核加速二值神经网络

    通过使用新一代 GPU 芯片中的张量核心实现 “二值神经网络” 设计中点乘和卷积的操作，使其在处理 ImageNet 数据集时比现有软件实现快出 77％，从而显著提高性能。

    Jun, 2020

  • PP-LCNet: 一种轻量级的 CPU 卷积神经网络

    本文介绍了一种基于 MKLDNN 加速策略的轻量级 CPU 网络 PP-LCNet，这种网络在多项任务上得到了改进。通过技术上的提升，PP-LCNet 在分类任务中的准确性大大优于之前的网络结构，并在计算机视觉的下游任务中表现出色。该研究使用的所有实验都是基于 PaddlePaddle 实现的，并提供相应的代码和预训练模型。

    Sep, 2021

  • 二进制神经网络中的数据流优化

    通过引入剪裁块，减少二元神经网络层的数据宽度和内部累加器大小，同时优化批标准化层的实现和 ARM 指令集的二值化卷积，提高了推理速度和准确度。

    Apr, 2023