Mar, 2020

ReActNet: 基于广义激活函数实现精准二值神经网络

HTML
PDF
TL;DR本文提出了一种改进二进制网络的方法，包括通过RSign和RPReLU实现激活分布变化的显式学习，以及采用分布损失进一步加强二进制网络的训练，通过这些方法，在不增加计算成本的情况下，将二进制网络精度提高到了比现有二进制网络更高的水平，并将其与实值网络的精度差距降至3.0％以内。
发现论文，激发创造
  • Bi-Real Net: 用先进的训练算法和改进的表示能力增强1位CNN的性能

    提出了Bi-Real net模型，它采用了一种新的训练算法来提高1-bit CNNs对大规模数据集ImageNet分类的性能，并在18层和34层下达到了56.4%和62.2%的top-1准确率。

    Aug, 2018

  • Bi-Real Net: 将深度网络二值化以实现真实网络性能

    本文研究了一比特卷积神经网络，通过使用Bi-Real net和新颖的训练算法来提高其表现能力和训练困难性，并在ImageNet上获得了56.4％的top-1分类准确性，比现有技术提高了10％以上。

    Nov, 2018

  • 正则化二进制网络训练

    本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法，通过改进梯度下降算法中的反向传播计算，在ImageNet数据集上比传统二进制神经网络和XNOR-net有更好的性能表现。

    Dec, 2018

  • 回归简单：如何从头训练准确的二值神经网络？

    本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构BinaryDenseNet，并在ImageNet数据集上获得18.6%和7.6%的精度改进。

    Jun, 2019

  • XNOR-Net++: 二值神经网络的改进

    本文提出了一种改进的训练算法，用于针对二元神经网络的权重和激活二进制数的训练，提出了一种新的比XNOR-Net更优的方法，通过反向传播学习判别式融合激活和权重缩放因子。实验表明，与分析计算的结果相比，我们的方法更加准确，且在相同的计算预算下，可在 ImageNet 分类任务中提供高达 6% 的准确性提升。

    Sep, 2019

  • 使用实数到二进制卷积训练二值神经网络

    本文介绍了如何训练二值网络，并通过优化过程和实值卷积输出来最大限度地提高准确性，这对于图像分类任务非常有用。

    Mar, 2020

  • 二值神经网络的综合评述

    本文全面评述了二值神经网络（BNN）的发展历程，从祖先算法到最新算法/技术，提出了一种广泛的设计流程，并讨论了每个模块的变体。此外，还介绍了BNN的应用，以及其潜在的发展方向和未来研究机会。

    Oct, 2021

  • PokeBNN：轻量级准确性的二进制追求

    本文提出了 PokeConv，一个对二值神经网络(BNNs)卷积进行膨胀的方案，并对 ResNet-50 进行优化，进一步提高了准确性和网络的成本。通过定义算数计算代价(ACE)这样一个硬件和能源的成本度量标准，实现了准确性和成本的联合优化。此外，我们还发现了优化二进制跃迁的梯度近似的超参数的必要性。最终我们在 CPU64 成本、ACE 成本和网络大小这些公共度量标准下都取得了新的最佳成果，而且我们提出的 PokeBNN 型网络成本低、准确率高。

    Nov, 2021

  • 分类二值化：软函数真的有必要吗？

    该文提出了将网络二值化看作是二元分类问题，并使用多层感知机（MLP）作为分类器解决大梯度误差的问题，实验表明该方法可显著提高二进制网络的性能。

    May, 2022

  • ReActXGB: 一种混合二进制卷积神经网络架构，用于提高性能和计算效率

    提出了一种名为ReActXGB的混合模型，在FashionMNIST基准测试中，ReActXGB在top-1准确率上优于ReActNet-A 1.47%，同时减少了7.14%的浮点运算和1.02%的模型大小。

    May, 2024