CVPRApr, 2021

A Bop and Beyond: 二阶优化器用于二值神经网络

PDF
TL;DR本文提出了一种用于训练 BNN 的优化器方法 Bop2ndOrder，使用双曲正切函数对二值化的权重进行优化，在超参数空间的完整消融研究及对比实验中，该方法在 CIFAR10 和 ImageNet 数据集中都能够更快地收敛并获得更好的准确性。
binary neural networksweight-updatingbop2ndorderhyperparametersconvergence
发现论文，激发创造
  • 潜在权重不存在：重新思考二值化神经网络优化

    本文探讨了二值神经网络（BNNs）优化的问题，提出了将潜在权值解释为惯性，并引入了 BNNs 的第一个优化器 ——Binary Optimizer（Bop），以提高训练方法学的效率。该优化器在 CIFAR-10 和 ImageNet 上表现良好。

    Jun, 2019

  • 深度网络的损失感知量化

    本文介绍了一种基于近端牛顿算法的深度神经网络权重二值化方法，能够直接最小化权重二值化时的损失函数，相对于现有的方法表现更好，尤其适用于深度网络和循环神经网络。

    Nov, 2016

  • AdaBin: 自适应二值集合优化二值神经网络

    本文提出了一种名为 AdaBin 的自适应二值化方法，它通过使用符号函数难以准确地将全精度值二值化的事实，使得我们获得了一组自适应的最优二进制集合，进一步提高了二值特征的表示能力。实验结果表明，AdaBin 在大量基准模型和数据集上达到了 state-of-the-art 的性能。

    Aug, 2022

  • 二进制神经网络中的数据流优化

    通过引入剪裁块，减少二元神经网络层的数据宽度和内部累加器大小，同时优化批标准化层的实现和 ARM 指令集的二值化卷积，提高了推理速度和准确度。

    Apr, 2023

  • 正则化二进制网络训练

    本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法，通过改进梯度下降算法中的反向传播计算，在 ImageNet 数据集上比传统二进制神经网络和 XNOR-net 有更好的性能表现。

    Dec, 2018

  • 二值化神经网络：训练深度神经网络，使权重和激活限制为 + 1 或 - 1

    本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法，并在 Torch7 和 Theano 框架上进行了实验，在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时，作者提出了一种二进制矩阵乘法 GPU 核函数，使得 MNIST BNN 可以比优化前快 7 倍，而不影响分类准确性。

    Feb, 2016

  • 旋转二元神经网络

    本文提出了旋转二进制神经网络 (RBNN) 框架，通过调整全精度权重向量和其二进制版本之间的角度对齐，优化量化误差。利用可调节的旋转权重向量来实现二值化过程的合理转化，最终在 CIFAR-10 和 ImageNet 数据集上取得了比多个现有模型更好的结果。

    Sep, 2020

  • 二值神经网络的循环双线性优化

    为了优化二值神经网络的学习过程，提出了一种从双线性的角度来优化二值神经网络的学习过程（Recorrent Bilinear Optimization），通过回溯稀疏的真实值权重过滤器，RBONNs 在各个模型和数据集上表现出了令人印象深刻的性能，尤其是在目标检测任务方面，表现出了更好的泛化性能。

    Sep, 2022

  • 位元神经网络

    通过提出一种基于二进制值的神经网络训练方法 (BNN)，实现了通过基本的比特逻辑实现神经网络的前向传递。在资源受限的环境中，BNN 可以取代浮点数运算，减少存储空间占用、内存带宽、以及硬件能耗。同时，我们提出了权重压缩和噪声反向传播等训练技术，生成功能基本与实数网络相当的 BNN。通过在 MNIST 数据集上进行实验，我们证明了 BNN 表现出竞争性的性能并节省大量计算资源。

    Jan, 2016

  • 回归简单：如何从头训练准确的二值神经网络？

    本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构 BinaryDenseNet，并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。

    Jun, 2019