本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法,并在Torch7和Theano框架上进行了实验,在MNIST、CIFAR-10和SVHN数据集上取得了接近最佳水平的结果。同时,作者提出了一种二进制矩阵乘法GPU核函数,使得MNIST BNN可以比优化前快7倍,而不影响分类准确性。
Feb, 2016
本文提出了两种卷积神经网络的高效近似方案:二进制权重网络和XNOR-网络,其中XNOR-网络既将卷积层输入又将滤波器二值化,主要利用二值运算来近似卷积,这使得卷积速度快58倍且内存占用仅为原来的1/32,而且其分类性能在ImageNet数据集上也优于其他网络二值化方法。
Mar, 2016
本文提出使用网络草图技术进行张量扩展从而生成二值化CNN网络,并且在ImageNet分类任务上取得了比现有模型更高的准确率。
Jun, 2017
本文引入了一种新颖的方案来训练二值卷积神经网络,使用多个二元权重基的线性组合逼近完全精度权重,并采用多个二元激活来减轻信息丢失的问题,最终实现了一个二值卷积神经网络(ABC-Net),能够在适当的二元权重和激活函数基础上,取得与全精度神经网络相当的预测准确性。
Nov, 2017
提出了Bi-Real net模型,它采用了一种新的训练算法来提高1-bit CNNs对大规模数据集ImageNet分类的性能,并在18层和34层下达到了56.4%和62.2%的top-1准确率。
Aug, 2018
本文研究了一比特卷积神经网络,通过使用Bi-Real net和新颖的训练算法来提高其表现能力和训练困难性,并在ImageNet上获得了56.4%的top-1分类准确性,比现有技术提高了10%以上。
Nov, 2018
本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法,通过改进梯度下降算法中的反向传播计算,在ImageNet数据集上比传统二进制神经网络和XNOR-net有更好的性能表现。
Dec, 2018
本研究关注二值神经网络的训练精度问题,提出了一些新的设计原则,设计出了一种新的二值神经网络体系结构BinaryDenseNet,并在ImageNet数据集上获得18.6%和7.6%的精度改进。
Jun, 2019
本文提出了一种改进二进制网络的方法,包括通过RSign和RPReLU实现激活分布变化的显式学习,以及采用分布损失进一步加强二进制网络的训练,通过这些方法,在不增加计算成本的情况下,将二进制网络精度提高到了比现有二进制网络更高的水平,并将其与实值网络的精度差距降至3.0%以内。
Mar, 2020
本文介绍了如何训练二值网络,并通过优化过程和实值卷积输出来最大限度地提高准确性,这对于图像分类任务非常有用。