Dec, 2017

LightNN: 填补传统深度神经网络与二值化网络之间的差距

PDF
TL;DR本文提出一种新的 DNN 模型 LightNN，它将乘法替换成一次位移或约束数量的位移和加法，为硬件设计者提供了更多在精度和能耗之间取得平衡的选项，并且验证实验表明，LightNN 在大型 DNN 配置下具有优于传统 DNN 和 BNN 的精度和能效优势。
application-specific integrated circuitdeep neural networksbinarized neural networkslightnnenergy consumption
发现论文，激发创造
  • 二值化神经网络

    本文介绍了一种对二值化神经网络进行训练的方法，并在 Torch7 和 Theano 两个框架下，对 MNIST、CIFAR-10 和 SVHN 数据集进行了实验，取得了近乎领先水平的结果。通过在前向传递过程中使用二值化的权重和激活值，可以大幅减少内存消耗，用位运算取代大多数算术运算，并且使用二进制矩阵乘法 GPU 内核可以比未优化的 GPU 内核快 7 倍，而不会损失分类准确度。

    Feb, 2016

  • 可再配置逻辑上二值神经网络的扩展

    该论文研究了如何在 BNN 网络中使用 padding 提高分类准确率的同时，仍然保持 1 位数据通路。作者展示了该方法的灵活性和可扩展性，并在 ADM-PCIE-8K5 平台上实现了大型 BNN 分类的快速和精确。

    Jan, 2017

  • 二值化神经网络：训练深度神经网络，使权重和激活限制为 + 1 或 - 1

    本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法，并在 Torch7 和 Theano 框架上进行了实验，在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时，作者提出了一种二进制矩阵乘法 GPU 核函数，使得 MNIST BNN 可以比优化前快 7 倍，而不影响分类准确性。

    Feb, 2016

  • BoolNet: 二值神经网络能耗最小化

    本文提出了一种名为 BoolNet 的二值神经网络（BNN）架构，该架构不使用常见的 32 位组件，能够在不影响准确性的情况下减少能源消耗，并且与现有的 BNN 架构 Bi-RealNet 相比，能够获得高达 1.2% 的额外准确性和 4.6 倍的能量降低。

    Jun, 2021

  • 二值神经网络的综合评述

    本文全面评述了二值神经网络（BNN）的发展历程，从祖先算法到最新算法 / 技术，提出了一种广泛的设计流程，并讨论了每个模块的变体。此外，还介绍了 BNN 的应用，以及其潜在的发展方向和未来研究机会。

    Oct, 2021

  • 回归简单：如何从头训练准确的二值神经网络？

    本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构 BinaryDenseNet，并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。

    Jun, 2019

  • 二值化低光原始视频增强

    最近，深度神经网络在低光原始视频增强方面取得了出色的性能。然而，它们通常具有高计算复杂性和大内存成本，限制了在资源有限设备上的应用。本文探讨了将极其紧凑的二值神经网络（BNN）应用于低光原始视频增强的可行性，并解决了融合时间信息和二值卷积之间的性能差距问题。经过广泛的定量和定性实验，我们的高效二值化低光原始视频增强方法取得了令人满意的性能。

    Mar, 2024

  • 位元神经网络

    通过提出一种基于二进制值的神经网络训练方法 (BNN)，实现了通过基本的比特逻辑实现神经网络的前向传递。在资源受限的环境中，BNN 可以取代浮点数运算，减少存储空间占用、内存带宽、以及硬件能耗。同时，我们提出了权重压缩和噪声反向传播等训练技术，生成功能基本与实数网络相当的 BNN。通过在 MNIST 数据集上进行实验，我们证明了 BNN 表现出竞争性的性能并节省大量计算资源。

    Jan, 2016

  • 基于二进制神经网络的设备上学习

    现有的连续学习解决方案只在将深度学习模型部署在低功率嵌入式 CPU 上时部分地解决了功耗、内存和计算的限制。本文提出了一种连续学习解决方案，它结合了连续学习领域的最新进展和二值神经网络（BNN）的高效性，该网络使用 1 位用于权重和激活以高效执行深度学习模型。我们提出了一种混合量化的 CWR*（一种有效的连续学习方法），它在前向和反向传播时考虑了不同的因素，以保留在梯度更新步骤和最小化延迟开销时的更高精度。选择二值网络作为基础是满足低功率设备限制的关键，据作者所知，这是首次尝试证明使用 BNN 进行设备上学习的方法。进行的实验验证了所提方法的有效性和适用性。

    Aug, 2023

  • 正则化二进制网络训练

    本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法，通过改进梯度下降算法中的反向传播计算，在 ImageNet 数据集上比传统二进制神经网络和 XNOR-net 有更好的性能表现。

    Dec, 2018