位元神经网络
本文介绍了一种对二值化神经网络进行训练的方法,并在 Torch7 和 Theano 两个框架下,对 MNIST、CIFAR-10 和 SVHN 数据集进行了实验,取得了近乎领先水平的结果。通过在前向传递过程中使用二值化的权重和激活值,可以大幅减少内存消耗,用位运算取代大多数算术运算,并且使用二进制矩阵乘法 GPU 内核可以比未优化的 GPU 内核快 7 倍,而不会损失分类准确度。
Feb, 2016
对二元神经网络进行了广泛的实验以了解其表示能力、速度及偏差 / 方差。提出了一种二元集成神经网络,通过集成方法来提高二元神经网络的性能,从而更快、更鲁棒,甚至能够超越具有相同结构的完全精确的浮点数网络的准确性。
Jun, 2018
本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法,并在 Torch7 和 Theano 框架上进行了实验,在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时,作者提出了一种二进制矩阵乘法 GPU 核函数,使得 MNIST BNN 可以比优化前快 7 倍,而不影响分类准确性。
Feb, 2016
本研究关注二值神经网络的训练精度问题,提出了一些新的设计原则,设计出了一种新的二值神经网络体系结构 BinaryDenseNet,并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。
Jun, 2019
通过多个随机取样的网络模型的集成决策,提高比特神经网络在分类准确性方面的性能,并使用硬件高效的随机舍入程序对其进行评估。我们的方法对于提高嵌入式比特神经网络的有效性具有贡献。
Nov, 2016
介绍了一种学习表示神经网络权重的个别位的算法,允许对任意位深度的整数值进行训练,无需额外的约束或正则化技术,自然地发现了稀疏网络。证明了在选择性地训练位的情况下,实现高准确度的最大贡献来自前三位最重要的位,而其余位则提供内在的正则化。因此,可以使用超过 90%的网络存储任意代码,例如随机噪声,二进制文件或甚至先前训练的网络的权重。
Feb, 2022
本文全面评述了二值神经网络(BNN)的发展历程,从祖先算法到最新算法 / 技术,提出了一种广泛的设计流程,并讨论了每个模块的变体。此外,还介绍了 BNN 的应用,以及其潜在的发展方向和未来研究机会。
Oct, 2021
本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法,通过改进梯度下降算法中的反向传播计算,在 ImageNet 数据集上比传统二进制神经网络和 XNOR-net 有更好的性能表现。
Dec, 2018
本文提出使用二进制权重和激活的神经网络的概率训练方法 - BLRNet,通过随机性避免了对 sign () 等不可微函数的梯度的逼近,并仍在测试时获得完全的二进制神经网络。 此外,它允许通过从权重分布中进行抽样来进行任时集成预测以提高性能和不确定性估计。我们在多个标准基准上评估了 BLRNet。
Sep, 2018