Jun, 2019

基于随机计算的二值神经网络硬件实现

PDF
TL;DR提出了基于随机计算的 Binarized Neural Networks，其输入也进行了二值化，仿真实验表明这样的网络在 Fashion-MNIST 和 CIFAR-10 数据集上可以接近常规的 Binarized Neural Networks 的性能，同时适应了硬件限制的 Binarized Neural Networks 可以在面积和能耗上节省大量资源。
binarized neural networksstochastic computingasic implementationenergy efficienthardware
发现论文，激发创造
  • 二进制随机性实现高效神经形态深度学习，实现超越软件的精度

    本文提出了一种二元随机学习算法，通过引入随机二元化，有符号二元化和分步权重更新，修改了所有基础神经网络操作，不需要高精度的处理，可以在硬件中实现，提高了神经网络系统的能效，并较高精度学习算法更有效。

    Apr, 2023

  • 二值化神经网络

    本文介绍了一种对二值化神经网络进行训练的方法，并在 Torch7 和 Theano 两个框架下，对 MNIST、CIFAR-10 和 SVHN 数据集进行了实验，取得了近乎领先水平的结果。通过在前向传递过程中使用二值化的权重和激活值，可以大幅减少内存消耗，用位运算取代大多数算术运算，并且使用二进制矩阵乘法 GPU 内核可以比未优化的 GPU 内核快 7 倍，而不会损失分类准确度。

    Feb, 2016

  • 随机配置机: FPGA 实现

    通过在可编程门阵列 (FPGA) 上实现二值化输入的 SCM 模型，本文报告了两个基准数据集和两个工业数据集的结果，包括单层和深度架构的 SCM。

    Oct, 2023

  • 少乘法的神经网络

    研究二值化训练和量化方法在神经网络训练中的应用，通过在 MNIST、CIFAR10、SVHN 三个数据集上的实验证明，这种方法不仅不会降低分类性能，反而可以实现比标准随机梯度下降训练更好的性能

    Oct, 2015

  • 探索二进制和脉冲神经网络之间的联系

    通过训练极度量化的脉冲神经网络，在不受到精度降低的情况下，可以实现像 CIFAR-$100$ 和 ImageNet 这样的大规模数据集的近乎完全精确度。此外，通过 “内存” 硬件加速器，也可以启用二元脉冲神经网络。

    Feb, 2020

  • 位元神经网络

    通过提出一种基于二进制值的神经网络训练方法 (BNN)，实现了通过基本的比特逻辑实现神经网络的前向传递。在资源受限的环境中，BNN 可以取代浮点数运算，减少存储空间占用、内存带宽、以及硬件能耗。同时，我们提出了权重压缩和噪声反向传播等训练技术，生成功能基本与实数网络相当的 BNN。通过在 MNIST 数据集上进行实验，我们证明了 BNN 表现出竞争性的性能并节省大量计算资源。

    Jan, 2016

  • 高效的位深度神经网络随机推断

    通过多个随机取样的网络模型的集成决策，提高比特神经网络在分类准确性方面的性能，并使用硬件高效的随机舍入程序对其进行评估。我们的方法对于提高嵌入式比特神经网络的有效性具有贡献。

    Nov, 2016

  • LightNN: 填补传统深度神经网络与二值化网络之间的差距

    本文提出一种新的 DNN 模型 LightNN，它将乘法替换成一次位移或约束数量的位移和加法，为硬件设计者提供了更多在精度和能耗之间取得平衡的选项，并且验证实验表明，LightNN 在大型 DNN 配置下具有优于传统 DNN 和 BNN 的精度和能效优势。

    Dec, 2017

  • 二值化神经网络：训练深度神经网络，使权重和激活限制为 + 1 或 - 1

    本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法，并在 Torch7 和 Theano 框架上进行了实验，在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时，作者提出了一种二进制矩阵乘法 GPU 核函数，使得 MNIST BNN 可以比优化前快 7 倍，而不影响分类准确性。

    Feb, 2016

  • 学习二元随机前向神经网络的技术

    研究了使用 M 个隐藏层激活的样本进行训练时的随机网络，探讨了三种潜在好处，即允许学习一对多类型的映射，可用于内部结构重要的结构预测问题以及在一般情况下启用更好的概括性能。同时提出了两种新的梯度估计器来训练随机网络，实验证明这两种估计器在训练算法中表现优异。

    Jun, 2014