Apr, 2024

BiPer：使用周期函数的二进制神经网络

PDF
TL;DR通过使用二进制周期函数，将二进制神经网络的前向和反向模型一致化，可以控制量化误差并提高网络性能。在 CIFAR-10 和 ImageNet 数据集上的分类任务中，相比于现有方法，我们的方法能获得高达 1% 和 0.69% 的改进效果。
quantized neural networksbinary neural networksbinarizationperiodic functionnetwork performance
发现论文，激发创造
  • 旋转二元神经网络

    本文提出了旋转二进制神经网络 (RBNN) 框架，通过调整全精度权重向量和其二进制版本之间的角度对齐，优化量化误差。利用可调节的旋转权重向量来实现二值化过程的合理转化，最终在 CIFAR-10 和 ImageNet 数据集上取得了比多个现有模型更好的结果。

    Sep, 2020

  • 位元神经网络

    通过提出一种基于二进制值的神经网络训练方法 (BNN)，实现了通过基本的比特逻辑实现神经网络的前向传递。在资源受限的环境中，BNN 可以取代浮点数运算，减少存储空间占用、内存带宽、以及硬件能耗。同时，我们提出了权重压缩和噪声反向传播等训练技术，生成功能基本与实数网络相当的 BNN。通过在 MNIST 数据集上进行实验，我们证明了 BNN 表现出竞争性的性能并节省大量计算资源。

    Jan, 2016

  • AdaBin: 自适应二值集合优化二值神经网络

    本文提出了一种名为 AdaBin 的自适应二值化方法，它通过使用符号函数难以准确地将全精度值二值化的事实，使得我们获得了一组自适应的最优二进制集合，进一步提高了二值特征的表示能力。实验结果表明，AdaBin 在大量基准模型和数据集上达到了 state-of-the-art 的性能。

    Aug, 2022

  • 基于对比学习的网络二值化

    本文介绍了一种使用对比学习和最大化互信息的方法来使用二进制神经网络实现更好的分类和分割结果，以减少因为二值化操作而导致的信息丢失。

    Jul, 2022

  • 正则化二进制网络训练

    本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法，通过改进梯度下降算法中的反向传播计算，在 ImageNet 数据集上比传统二进制神经网络和 XNOR-net 有更好的性能表现。

    Dec, 2018

  • A Bop and Beyond: 二阶优化器用于二值神经网络

    本文提出了一种用于训练 BNN 的优化器方法 Bop2ndOrder，使用双曲正切函数对二值化的权重进行优化，在超参数空间的完整消融研究及对比实验中，该方法在 CIFAR10 和 ImageNet 数据集中都能够更快地收敛并获得更好的准确性。

    Apr, 2021

  • 学习频域逼近用于二值神经网络

    本文提出了一种使用正弦函数组合估计傅里叶频率域中的符号函数梯度的方法，同时嵌入噪声自适应模块来弥补近似误差，结果表明该方法训练的二进制神经网络可达到最先进的精度水平。

    Mar, 2021

  • Sub-bit 神经网络：学习压缩和加速二进制神经网络

    介绍了一种基于子位二值化的神经网络设计，通过针对二值卷积核子集训练，使用随机采样和优化步骤来调整这些子集，从而压缩和加速二值神经网络的模型。实验证明，该方法在图像识别基准和 FPGA 硬件部署上具有巨大潜力，可以在适度降低识别准确度的情况下实现运行时间加快和模型压缩。

    Oct, 2021

  • 平衡量化：一种有效、高效的量化神经网络方法

    本文提出了一种新的量化方法，可以确保量化值分布的平衡性，通过对参数进行分位数递归划分并应用均匀量化，可以提高 QNN 的预测准确性，同时对训练速度几乎没有影响，并可适用于卷积神经网络和循环神经网络。

    Jun, 2017

  • Bi-Real Net: 将深度网络二值化以实现真实网络性能

    本文研究了一比特卷积神经网络，通过使用 Bi-Real net 和新颖的训练算法来提高其表现能力和训练困难性，并在 ImageNet 上获得了 56.4％的 top-1 分类准确性，比现有技术提高了 10％以上。

    Nov, 2018