使用实数到二进制卷积训练二值神经网络
本文提出了一种改进的训练方法来提高具有更高准确性的紧凑型二值化 CNN,其中可训练的权重和激活的比例因子被引入以增加值范围,并通过反向传播与其他参数一起进行训练。通过这些改进,与前人工作相比,本文二值化 CNN 在 CIFAR-10 上的准确度达到 92.3%,在 ImageNet 上,我们的方法用 AlexNet 获得 46.1%的 top-1 准确度,用 Resnet-18 获得 54.2%的 top-1 准确度。
Sep, 2019
本文研究了一比特卷积神经网络,通过使用 Bi-Real net 和新颖的训练算法来提高其表现能力和训练困难性,并在 ImageNet 上获得了 56.4%的 top-1 分类准确性,比现有技术提高了 10%以上。
Nov, 2018
本文引入了一种新颖的方案来训练二值卷积神经网络,使用多个二元权重基的线性组合逼近完全精度权重,并采用多个二元激活来减轻信息丢失的问题,最终实现了一个二值卷积神经网络(ABC-Net),能够在适当的二元权重和激活函数基础上,取得与全精度神经网络相当的预测准确性。
Nov, 2017
提出了 Bi-Real net 模型,它采用了一种新的训练算法来提高 1-bit CNNs 对大规模数据集 ImageNet 分类的性能,并在 18 层和 34 层下达到了 56.4% 和 62.2% 的 top-1 准确率。
Aug, 2018
研究二进制神经网络的训练策略和在移动和嵌入式设备上应用的性能,通过采用一种更简单的训练策略,成功提高了二进制神经网络的性能并在标准数据集上取得了最新成果,还成功将具有密集连接的网络架构引入二进制网络领域。
Dec, 2018
本研究针对网络二值化技术领域的准确度损失问题,提出了三种新方法:1)使用专家二值卷积提高模型容量,2)引入宽度扩展机制以提高表示容量,3)提出了一种可行的网络增长机制以获得良好的网络拓扑结构,通过实验在 ImageNet 分类任务上取得了超过以往方法 6% 的精度提升。
Oct, 2020
本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法,通过改进梯度下降算法中的反向传播计算,在 ImageNet 数据集上比传统二进制神经网络和 XNOR-net 有更好的性能表现。
Dec, 2018
本文提出了一种改进二进制网络的方法,包括通过 RSign 和 RPReLU 实现激活分布变化的显式学习,以及采用分布损失进一步加强二进制网络的训练,通过这些方法,在不增加计算成本的情况下,将二进制网络精度提高到了比现有二进制网络更高的水平,并将其与实值网络的精度差距降至 3.0%以内。
Mar, 2020
本研究关注二值神经网络的训练精度问题,提出了一些新的设计原则,设计出了一种新的二值神经网络体系结构 BinaryDenseNet,并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。
Jun, 2019