Aug, 2018

Bi-Real Net: 用先进的训练算法和改进的表示能力增强1位CNN的性能

HTML
PDF
TL;DR提出了Bi-Real net模型，它采用了一种新的训练算法来提高1-bit CNNs对大规模数据集ImageNet分类的性能，并在18层和34层下达到了56.4%和62.2%的top-1准确率。
发现论文，激发创造
  • 使用二进制卷积神经网络进行ImageNet分类的XNOR-Net

    本文提出了两种卷积神经网络的高效近似方案：二进制权重网络和XNOR-网络，其中XNOR-网络既将卷积层输入又将滤波器二值化，主要利用二值运算来近似卷积，这使得卷积速度快58倍且内存占用仅为原来的1/32，而且其分类性能在ImageNet数据集上也优于其他网络二值化方法。

    Mar, 2016

  • 朝着精准二值卷积神经网络

    本文引入了一种新颖的方案来训练二值卷积神经网络，使用多个二元权重基的线性组合逼近完全精度权重，并采用多个二元激活来减轻信息丢失的问题，最终实现了一个二值卷积神经网络（ABC-Net），能够在适当的二元权重和激活函数基础上，取得与全精度神经网络相当的预测准确性。

    Nov, 2017

  • Bi-Real Net: 将深度网络二值化以实现真实网络性能

    本文研究了一比特卷积神经网络，通过使用Bi-Real net和新颖的训练算法来提高其表现能力和训练困难性，并在ImageNet上获得了56.4％的top-1分类准确性，比现有技术提高了10％以上。

    Nov, 2018

  • 回归简单：如何从头训练准确的二值神经网络？

    本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构BinaryDenseNet，并在ImageNet数据集上获得18.6%和7.6%的精度改进。

    Jun, 2019

  • 低比特宽度权重和激活的卷积神经网络有效训练

    本文提出了三种实用方法来优化低精度深度卷积神经网络，包括渐进式量化、随机量化以及联合知识蒸馏来提高网络训练。通过实验证明，该方法在各种数据集上表现良好。

    Aug, 2019

  • XNOR-Net++: 二值神经网络的改进

    本文提出了一种改进的训练算法，用于针对二元神经网络的权重和激活二进制数的训练，提出了一种新的比XNOR-Net更优的方法，通过反向传播学习判别式融合激活和权重缩放因子。实验表明，与分析计算的结果相比，我们的方法更加准确，且在相同的计算预算下，可在 ImageNet 分类任务中提供高达 6% 的准确性提升。

    Sep, 2019

  • ReActNet: 基于广义激活函数实现精准二值神经网络

    本文提出了一种改进二进制网络的方法，包括通过RSign和RPReLU实现激活分布变化的显式学习，以及采用分布损失进一步加强二进制网络的训练，通过这些方法，在不增加计算成本的情况下，将二进制网络精度提高到了比现有二进制网络更高的水平，并将其与实值网络的精度差距降至3.0％以内。

    Mar, 2020

  • 使用实数到二进制卷积训练二值神经网络

    本文介绍了如何训练二值网络，并通过优化过程和实值卷积输出来最大限度地提高准确性，这对于图像分类任务非常有用。

    Mar, 2020

  • 二值神经网络的综合评述

    本文全面评述了二值神经网络（BNN）的发展历程，从祖先算法到最新算法/技术，提出了一种广泛的设计流程，并讨论了每个模块的变体。此外，还介绍了BNN的应用，以及其潜在的发展方向和未来研究机会。

    Oct, 2021

  • Sub-bit神经网络：学习压缩和加速二进制神经网络

    介绍了一种基于子位二值化的神经网络设计，通过针对二值卷积核子集训练，使用随机采样和优化步骤来调整这些子集，从而压缩和加速二值神经网络的模型。实验证明，该方法在图像识别基准和FPGA硬件部署上具有巨大潜力，可以在适度降低识别准确度的情况下实现运行时间加快和模型压缩。

    Oct, 2021