Mar, 2015

使用期望反向传播训练二进制多层神经网络进行图像分类

PDF
TL;DR研究表明，在高维文本数据集上，使用 Expectation BackPropagation (EBP) 算法的 Binary Multilayer Neural Networks (BMNNs) 对二元分类任务具有良好的效果。本研究以 MNIST 数据集为例，探讨了在多类图像分类任务中使用 EBP 算法的 BMNNs 的能力，同时考察了多层二元神经网络和不同数量隐藏单元下的性能，以及在 BMNNs 中使用图像空间过滤器和 dropout 技术的有效性。实验结果表明，与全连接的 MNNs 上使用标准 BackPropagation 算法的结果相仿，EBP 算法可以在二进制权重下获得 2.12％的测试误差和 1.66％的实际权重测试误差。
binary multilayer neural networksexpectation backpropagation algorithmmulticlass image classificationimage spatial filtersdropout technique
发现论文，激发创造
  • 大规模多标签文本分类 - 重新审视神经网络

    本文研究了神经网络在多标签分类中的应用，并提出了一种使用深度学习算法的简单神经网络模型取代 BP-MLL 模型进行文本分类，证明了这些模型在六个不同属性的数据集上具有较好的性能表现。

    Dec, 2013

  • 二进制集成神经网络：每个网络的比特数更多还是每个比特的网络数更多？

    对二元神经网络进行了广泛的实验以了解其表示能力、速度及偏差 / 方差。提出了一种二元集成神经网络，通过集成方法来提高二元神经网络的性能，从而更快、更鲁棒，甚至能够超越具有相同结构的完全精确的浮点数网络的准确性。

    Jun, 2018

  • 二值化神经网络

    本文介绍了一种对二值化神经网络进行训练的方法，并在 Torch7 和 Theano 两个框架下，对 MNIST、CIFAR-10 和 SVHN 数据集进行了实验，取得了近乎领先水平的结果。通过在前向传递过程中使用二值化的权重和激活值，可以大幅减少内存消耗，用位运算取代大多数算术运算，并且使用二进制矩阵乘法 GPU 内核可以比未优化的 GPU 内核快 7 倍，而不会损失分类准确度。

    Feb, 2016

  • 生物启发深度学习算法和架构的可扩展性评估

    通过对 MNIST、CIFAR-10 和 ImageNet 数据集中的机器学习任务进行实验，我们提出和探究了目标传播和反馈对齐算法的变体，在全连接和局部连接的体系结构下，大部分算法都可以很好的完成 MNIST 数据集的任务。然而，我们发现在面对 CIFAR 和 ImageNet 数据集时，这些算法在局部连接的体系结构下表现不如反向传播算法，因此我们需要新的架构和算法来扩展这些方法。

    Jul, 2018

  • MeliusNet: 二进制神经网络能达到 MobileNet 的准确性吗？

    本文提出了一种新的二进制神经网络构架 MeliusNet，采用 “密集块 + 改进块” 交替的方式可以增加特征容量和特征质量，通过在 ImageNet 数据集上的实验，证明了该构架可以在操作数、精度以及计算效率上大幅提高，代码已公开发布。

    Jan, 2020

  • 回归简单：如何从头训练准确的二值神经网络？

    本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构 BinaryDenseNet，并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。

    Jun, 2019

  • 二值化神经网络：训练深度神经网络，使权重和激活限制为 + 1 或 - 1

    本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法，并在 Torch7 和 Theano 框架上进行了实验，在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时，作者提出了一种二进制矩阵乘法 GPU 核函数，使得 MNIST BNN 可以比优化前快 7 倍，而不影响分类准确性。

    Feb, 2016

  • 概率二元神经网络

    本文提出使用二进制权重和激活的神经网络的概率训练方法 - BLRNet，通过随机性避免了对 sign () 等不可微函数的梯度的逼近，并仍在测试时获得完全的二进制神经网络。 此外，它允许通过从权重分布中进行抽样来进行任时集成预测以提高性能和不确定性估计。我们在多个标准基准上评估了 BLRNet。

    Sep, 2018

  • 位元神经网络

    通过提出一种基于二进制值的神经网络训练方法 (BNN)，实现了通过基本的比特逻辑实现神经网络的前向传递。在资源受限的环境中，BNN 可以取代浮点数运算，减少存储空间占用、内存带宽、以及硬件能耗。同时，我们提出了权重压缩和噪声反向传播等训练技术，生成功能基本与实数网络相当的 BNN。通过在 MNIST 数据集上进行实验，我们证明了 BNN 表现出竞争性的性能并节省大量计算资源。

    Jan, 2016

  • 学习训练二元神经网络

    研究二进制神经网络在移动设备等低计算能力设备上的训练过程，并探索网络结构、超参数等因素对于准确性的影响，提高了二进制神经网络的训练精度。

    Sep, 2018