正则化二进制网络训练
本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法,并在Torch7和Theano框架上进行了实验,在MNIST、CIFAR-10和SVHN数据集上取得了接近最佳水平的结果。同时,作者提出了一种二进制矩阵乘法GPU核函数,使得MNIST BNN可以比优化前快7倍,而不影响分类准确性。
Feb, 2016
本研究关注二值神经网络的训练精度问题,提出了一些新的设计原则,设计出了一种新的二值神经网络体系结构BinaryDenseNet,并在ImageNet数据集上获得18.6%和7.6%的精度改进。
Jun, 2019
本文提出了一种改进的训练算法,用于针对二元神经网络的权重和激活二进制数的训练,提出了一种新的比XNOR-Net更优的方法,通过反向传播学习判别式融合激活和权重缩放因子。实验表明,与分析计算的结果相比,我们的方法更加准确,且在相同的计算预算下,可在 ImageNet 分类任务中提供高达 6% 的准确性提升。
Sep, 2019
通过采用自适应梯度剪切、比例重量标准化和专门的瓶颈块等技术,本研究将BN-Free训练的框架扩展到二进制神经网络训练,并首次证明可以完全从BNN的训练和推断中去除BN层,而不会丧失性能。
Apr, 2021
研究二进制神经网络使用Adam优化相对于SGD优化的优势,发现Adam通过其自适应学习率策略更好地处理BNN的崎岖损失表面,并得到更好的优化结果。通过分析发现,Adam的二阶动量正则化效应对于使BNN中由于激活饱和而死亡的权重重振是至关重要的,并探究了实值权重在二进制网络中的有趣作用以及权重衰减对BNN优化的影响。最终,我们提出了一个基于Adam优化的简单训练方案,使用相同的架构比最先进的ReActNet实现了1.1%更高的top-1准确度(70.5%)。
Jun, 2021
本文全面评述了二值神经网络(BNN)的发展历程,从祖先算法到最新算法/技术,提出了一种广泛的设计流程,并讨论了每个模块的变体。此外,还介绍了BNN的应用,以及其潜在的发展方向和未来研究机会。
Oct, 2021
本文提出了一种名为AdaBin的自适应二值化方法,它通过使用符号函数难以准确地将全精度值二值化的事实,使得我们获得了一组自适应的最优二进制集合,进一步提高了二值特征的表示能力。实验结果表明,AdaBin在大量基准模型和数据集上达到了state-of-the-art的性能。
Aug, 2022
通过三个互补的角度: 创新设计一个基于全方位研究后的二进制结构BNext、提出一种新的知识蒸馏技术以缓解训练极精确二进制模型时出现的过拟合问题、并使用来自全精度模型的最新技术现代化二进制网络的数据增强管线, 我们让二进制神经网络在 ILSVRC-2012 ImageNet 上达到了至关重要的准确度水平(例如80.57%),并且明显优于所有现有的二进制网络。
Nov, 2022
该论文提出了一种新的更一般的二进制域,扩展了标准二进制域,并且更适合剪枝技术,在保证性能的同时提高了压缩率,这种方法与其他修剪策略相结合可以生成高效稀疏网络,并减少内存使用和运行时间延迟。
Jun, 2023
本研究针对二进制神经网络(BNNs)在训练过程中的高能耗和性能下降问题,提出了一种新的循环精度训练方法CycleBNN。该方法通过动态调整训练过程中使用的精度,实现了训练效率与模型性能之间的有效平衡,显著降低了训练过程中所需的运算量,同时在多个数据集上取得了竞争性的性能表现。
Sep, 2024