使用位平面编码进行输入层二值化
本文提出了一种改进的训练方法来提高具有更高准确性的紧凑型二值化 CNN,其中可训练的权重和激活的比例因子被引入以增加值范围,并通过反向传播与其他参数一起进行训练。通过这些改进,与前人工作相比,本文二值化 CNN 在 CIFAR-10 上的准确度达到 92.3%,在 ImageNet 上,我们的方法用 AlexNet 获得 46.1%的 top-1 准确度,用 Resnet-18 获得 54.2%的 top-1 准确度。
Sep, 2019
本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法,并在 Torch7 和 Theano 框架上进行了实验,在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时,作者提出了一种二进制矩阵乘法 GPU 核函数,使得 MNIST BNN 可以比优化前快 7 倍,而不影响分类准确性。
Feb, 2016
本文研究了一比特卷积神经网络,通过使用 Bi-Real net 和新颖的训练算法来提高其表现能力和训练困难性,并在 ImageNet 上获得了 56.4%的 top-1 分类准确性,比现有技术提高了 10%以上。
Nov, 2018
通过提出一种基于二进制值的神经网络训练方法 (BNN),实现了通过基本的比特逻辑实现神经网络的前向传递。在资源受限的环境中,BNN 可以取代浮点数运算,减少存储空间占用、内存带宽、以及硬件能耗。同时,我们提出了权重压缩和噪声反向传播等训练技术,生成功能基本与实数网络相当的 BNN。通过在 MNIST 数据集上进行实验,我们证明了 BNN 表现出竞争性的性能并节省大量计算资源。
Jan, 2016
本文介绍了一种对二值化神经网络进行训练的方法,并在 Torch7 和 Theano 两个框架下,对 MNIST、CIFAR-10 和 SVHN 数据集进行了实验,取得了近乎领先水平的结果。通过在前向传递过程中使用二值化的权重和激活值,可以大幅减少内存消耗,用位运算取代大多数算术运算,并且使用二进制矩阵乘法 GPU 内核可以比未优化的 GPU 内核快 7 倍,而不会损失分类准确度。
Feb, 2016
本文引入了一种新颖的方案来训练二值卷积神经网络,使用多个二元权重基的线性组合逼近完全精度权重,并采用多个二元激活来减轻信息丢失的问题,最终实现了一个二值卷积神经网络(ABC-Net),能够在适当的二元权重和激活函数基础上,取得与全精度神经网络相当的预测准确性。
Nov, 2017
通过调整有界整流函数,提出了一种可学习深度神经网络二进制表示的方法,对 MNIST、CIFAR10 和 ILSVRC2012 数据集进行了测试,并系统地研究了二进制过程的训练动态,最终表示是完全二进制的,可以通过一种引导式的二进制过程来展现神经网络的语义结构。
Nov, 2015
本研究关注二值神经网络的训练精度问题,提出了一些新的设计原则,设计出了一种新的二值神经网络体系结构 BinaryDenseNet,并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。
Jun, 2019
提出了 Bi-Real net 模型,它采用了一种新的训练算法来提高 1-bit CNNs 对大规模数据集 ImageNet 分类的性能,并在 18 层和 34 层下达到了 56.4% 和 62.2% 的 top-1 准确率。
Aug, 2018