可调节有界整流器:迈向深度二进制表示
本文介绍一种训练自我二值化神经网络的方法,通过使用平滑激活函数代替符号激活函数,减少二值化过程中的优化难度,同时还提出了一种简化二值批归一化的方法,实现了比传统浮点和二值网络更低的内存和计算消耗以及更高的分类准确率。
Feb, 2019
本文提出了一种名为 AdaBin 的自适应二值化方法,它通过使用符号函数难以准确地将全精度值二值化的事实,使得我们获得了一组自适应的最优二进制集合,进一步提高了二值特征的表示能力。实验结果表明,AdaBin 在大量基准模型和数据集上达到了 state-of-the-art 的性能。
Aug, 2022
本篇论文提出一系列工程技术来改善二值化神经网络的准确性,包括更合适的激活函数、反向初始化、渐进式量化、网络叠加等,并在人体姿态估计和 ImageNet 大规模图像识别任务中验证了其优越性。此外,还首次探讨了二值化神经网络和知识蒸馏相结合的效果。
Apr, 2019
本文提出一种新方法,使用 8 位表示的输入数据直接对第一层进行二值化处理,并利用标准位平面编码按位提取特征,经过加权和再次融合后得到全二值化模型,该方法在不同神经网络体系结构下验证,比现有技术在准确性和 BMCA (二值乘法计算数) 减少方面更佳。
May, 2023
本研究旨在提出一种基于二进制系统的深度神经网络,该网络可以大幅减少计算资源和存储空间的使用,从而可在各种设备上使用,并通过实验验证了该网络的可行性。
Feb, 2016
本文介绍了一种名为 DIR-Net 的神经网络二值化方法,通过改进内部传播和引入外部表示来保留神经网络信息;采用信息最大化二值化(IMB)、分布敏感二段估计器(DTE)和表示对齐二值化感知蒸馏(RBD)等三项技术,该方法在 ResNet、VGG、EfficientNet、DARTS 和 MobileNet 等主流紧凑体系结构下实验表现优异,可在实际资源受限设备上实现存储节省和加速优化。
Sep, 2021
本文研究了一比特卷积神经网络,通过使用 Bi-Real net 和新颖的训练算法来提高其表现能力和训练困难性,并在 ImageNet 上获得了 56.4%的 top-1 分类准确性,比现有技术提高了 10%以上。
Nov, 2018
本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法,通过改进梯度下降算法中的反向传播计算,在 ImageNet 数据集上比传统二进制神经网络和 XNOR-net 有更好的性能表现。
Dec, 2018