二元神经网络的高维几何
本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法,并在 Torch7 和 Theano 框架上进行了实验,在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时,作者提出了一种二进制矩阵乘法 GPU 核函数,使得 MNIST BNN 可以比优化前快 7 倍,而不影响分类准确性。
Feb, 2016
本论文探讨了将二值化技术应用于图神经网络的方法,并成功设计了能够在 Hamming 空间内快速构建动态图的模型,实现了在准确性轻微损失的代价下在嵌入式设备上取得了显著的存储空间和时间扩展的效果。
Dec, 2020
本文介绍了一种对二值化神经网络进行训练的方法,并在 Torch7 和 Theano 两个框架下,对 MNIST、CIFAR-10 和 SVHN 数据集进行了实验,取得了近乎领先水平的结果。通过在前向传递过程中使用二值化的权重和激活值,可以大幅减少内存消耗,用位运算取代大多数算术运算,并且使用二进制矩阵乘法 GPU 内核可以比未优化的 GPU 内核快 7 倍,而不会损失分类准确度。
Feb, 2016
本文提出使用二进制权重和激活的神经网络的概率训练方法 - BLRNet,通过随机性避免了对 sign () 等不可微函数的梯度的逼近,并仍在测试时获得完全的二进制神经网络。 此外,它允许通过从权重分布中进行抽样来进行任时集成预测以提高性能和不确定性估计。我们在多个标准基准上评估了 BLRNet。
Sep, 2018
本研究关注二值神经网络的训练精度问题,提出了一些新的设计原则,设计出了一种新的二值神经网络体系结构 BinaryDenseNet,并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。
Jun, 2019
本文研究二值神经网络在生成模型中的应用,通过开发一类新的二值权重规范化方法和提供针对这些二值化生成模型的架构设计,成功地训练出使用二值神经网络的生成模型,使得模型的计算成本大幅降低,但损失函数的值接近于原模型,模型体积更小且速度更快。
Oct, 2020
本文提出了一种基于高阶梯度过滤的新解释,用于解释二进制神经网络中的大小基于超参数的影响,并为其优化设计新的过滤器。通过这种改进的理解,我们可以减少超参数的数量和调整的努力,从而提高二进制神经网络的准确性。
Mar, 2023
通过提出一种基于二进制值的神经网络训练方法 (BNN),实现了通过基本的比特逻辑实现神经网络的前向传递。在资源受限的环境中,BNN 可以取代浮点数运算,减少存储空间占用、内存带宽、以及硬件能耗。同时,我们提出了权重压缩和噪声反向传播等训练技术,生成功能基本与实数网络相当的 BNN。通过在 MNIST 数据集上进行实验,我们证明了 BNN 表现出竞争性的性能并节省大量计算资源。
Jan, 2016
该研究介绍了一种名为 BinaryConnect 的方法,该方法通过对神经网络进行二进制权重的训练和保留梯度累积精度的方式,取代传统神经网络中高昂代价的乘法运算,提高特定硬件上的深度学习性能,并取得了接近最优的结果。
Nov, 2015
本文引入了一种新颖的方案来训练二值卷积神经网络,使用多个二元权重基的线性组合逼近完全精度权重,并采用多个二元激活来减轻信息丢失的问题,最终实现了一个二值卷积神经网络(ABC-Net),能够在适当的二元权重和激活函数基础上,取得与全精度神经网络相当的预测准确性。
Nov, 2017