Oct, 2022

LAB: 可学习激活元素二值化用于二值神经网络

PDF
TL;DR本文提出了一种名为 LAB 的可学习二值化激励技术，替代二元特征映射中的 sign () 函数，其可以适用于各种已有的架构中，实验证明这种方法可以在不显著增加时间和复杂度的情况下，为四个二值神经网络模型带来明显性能提升，并在 ImageNet 数据集上实现了与最先进模型相同的性能。
binary neural networksbnnslearnable activation binarizerfine-grained binarization kernellab-bnn
发现论文，激发创造
  • 自二值化网络

    本文介绍一种训练自我二值化神经网络的方法，通过使用平滑激活函数代替符号激活函数，减少二值化过程中的优化难度，同时还提出了一种简化二值批归一化的方法，实现了比传统浮点和二值网络更低的内存和计算消耗以及更高的分类准确率。

    Feb, 2019

  • 概率二元神经网络

    本文提出使用二进制权重和激活的神经网络的概率训练方法 - BLRNet，通过随机性避免了对 sign () 等不可微函数的梯度的逼近，并仍在测试时获得完全的二进制神经网络。 此外，它允许通过从权重分布中进行抽样来进行任时集成预测以提高性能和不确定性估计。我们在多个标准基准上评估了 BLRNet。

    Sep, 2018

  • 设计抖动符号激活用于二值神经网络

    该研究论文提出了使用多阈值的 Dithering Sign 激活函数在二进制神经网络中代替常见的二进制激活函数，实验证明它在分类任务中既能有效地保留特征细节又能保持低计算成本。

    May, 2024

  • 基于对比学习的网络二值化

    本文介绍了一种使用对比学习和最大化互信息的方法来使用二进制神经网络实现更好的分类和分割结果，以减少因为二值化操作而导致的信息丢失。

    Jul, 2022

  • 交通标志识别的二值化神经网络架构设计

    研究比较卷积神经网络和二值神经网络在识别交通标志上的表现，提出了一种从底层进行二值神经网络架构设计的方法，并且在测试集上取得了高于 80% 的准确率。

    Mar, 2023

  • AdaBin: 自适应二值集合优化二值神经网络

    本文提出了一种名为 AdaBin 的自适应二值化方法，它通过使用符号函数难以准确地将全精度值二值化的事实，使得我们获得了一组自适应的最优二进制集合，进一步提高了二值特征的表示能力。实验结果表明，AdaBin 在大量基准模型和数据集上达到了 state-of-the-art 的性能。

    Aug, 2022

  • 二值化神经网络：训练深度神经网络，使权重和激活限制为 + 1 或 - 1

    本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法，并在 Torch7 和 Theano 框架上进行了实验，在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时，作者提出了一种二进制矩阵乘法 GPU 核函数，使得 MNIST BNN 可以比优化前快 7 倍，而不影响分类准确性。

    Feb, 2016

  • 使用位平面编码进行输入层二值化

    本文提出一种新方法，使用 8 位表示的输入数据直接对第一层进行二值化处理，并利用标准位平面编码按位提取特征，经过加权和再次融合后得到全二值化模型，该方法在不同神经网络体系结构下验证，比现有技术在准确性和 BMCA (二值乘法计算数) 减少方面更佳。

    May, 2023

  • 正则化二进制网络训练

    本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法，通过改进梯度下降算法中的反向传播计算，在 ImageNet 数据集上比传统二进制神经网络和 XNOR-net 有更好的性能表现。

    Dec, 2018

  • 二值化神经网络

    本文介绍了一种对二值化神经网络进行训练的方法，并在 Torch7 和 Theano 两个框架下，对 MNIST、CIFAR-10 和 SVHN 数据集进行了实验，取得了近乎领先水平的结果。通过在前向传递过程中使用二值化的权重和激活值，可以大幅减少内存消耗，用位运算取代大多数算术运算，并且使用二进制矩阵乘法 GPU 内核可以比未优化的 GPU 内核快 7 倍，而不会损失分类准确度。

    Feb, 2016