稀疏化二进制神经网络的二进制域泛化
本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法,通过改进梯度下降算法中的反向传播计算,在 ImageNet 数据集上比传统二进制神经网络和 XNOR-net 有更好的性能表现。
Dec, 2018
本研究关注二值神经网络的训练精度问题,提出了一些新的设计原则,设计出了一种新的二值神经网络体系结构 BinaryDenseNet,并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。
Jun, 2019
介绍了一种基于子位二值化的神经网络设计,通过针对二值卷积核子集训练,使用随机采样和优化步骤来调整这些子集,从而压缩和加速二值神经网络的模型。实验证明,该方法在图像识别基准和 FPGA 硬件部署上具有巨大潜力,可以在适度降低识别准确度的情况下实现运行时间加快和模型压缩。
Oct, 2021
本论文提出了自动修剪二值化 (APB) 技术,结合量化和修剪,提高二元网络的表示能力,通过将部分全精度权重进行二值化或保留原精度降低其存储,具备更好的精度 / 内存的性价比且在效率方面持续优化。
Jun, 2023
本论文探讨了将二值化技术应用于图神经网络的方法,并成功设计了能够在 Hamming 空间内快速构建动态图的模型,实现了在准确性轻微损失的代价下在嵌入式设备上取得了显著的存储空间和时间扩展的效果。
Dec, 2020
本文提出了一种改进的训练方法来提高具有更高准确性的紧凑型二值化 CNN,其中可训练的权重和激活的比例因子被引入以增加值范围,并通过反向传播与其他参数一起进行训练。通过这些改进,与前人工作相比,本文二值化 CNN 在 CIFAR-10 上的准确度达到 92.3%,在 ImageNet 上,我们的方法用 AlexNet 获得 46.1%的 top-1 准确度,用 Resnet-18 获得 54.2%的 top-1 准确度。
Sep, 2019
本文综述了二值神经网络中直接二值化和优化二值化两种算法,其中优化二值化采用了诸如最小化量化误差、改进神经网络损失函数、减少梯度误差等技术来解决二值化不可避免的严重信息损失和优化难题;同时对硬件友好设计和训练技巧等实用方面也进行了讨论,最后对图像分类、目标检测和语义分割等不同任务进行了评估和讨论,并展望了未来研究中可能面临的挑战。
Mar, 2020
本文提出了一种名为 AdaBin 的自适应二值化方法,它通过使用符号函数难以准确地将全精度值二值化的事实,使得我们获得了一组自适应的最优二进制集合,进一步提高了二值特征的表示能力。实验结果表明,AdaBin 在大量基准模型和数据集上达到了 state-of-the-art 的性能。
Aug, 2022
本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法,并在 Torch7 和 Theano 框架上进行了实验,在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时,作者提出了一种二进制矩阵乘法 GPU 核函数,使得 MNIST BNN 可以比优化前快 7 倍,而不影响分类准确性。
Feb, 2016