Bi-Real Net: 用先进的训练算法和改进的表示能力增强 1 位 CNN 的性能

ECCVAug, 2018

Bi-Real Net: 用先进的训练算法和改进的表示能力增强 1 位 CNN 的性能

Bi-Real Net: Enhancing the Performance of 1-bit CNNs With Improved Representational Capability and Advanced Training Algorithm

PDF

Zechun Liu, Baoyuan Wu, Wenhan Luo, Xin Yang, Wei Liu...

TL;DR提出了 Bi-Real net 模型，它采用了一种新的训练算法来提高 1-bit CNNs 对大规模数据集 ImageNet 分类的性能，并在 18 层和 34 层下达到了 56.4% 和 62.2% 的 top-1 准确率。

Abstract

In this work, we study the 1-bit convolutional neural networks (CNNs), of which both the weights and activations are binary. While being efficient, the classification accuracy of the current 1-bit cnns is much worse compared to their counterpart real-valued CNN models on the large-scal

binary neural network 1-bit cnns 1-layer-per-block bi-real net imagenet

发现论文，激发创造

Bi-Real Net: 将深度网络二值化以实现真实网络性能

本文研究了一比特卷积神经网络，通过使用 Bi-Real net 和新颖的训练算法来提高其表现能力和训练困难性，并在 ImageNet 上获得了 56.4％的 top-1 分类准确性，比现有技术提高了 10％以上。

Nov, 2018

使用训练二值化的准确紧凑卷积神经网络

本文提出了一种改进的训练方法来提高具有更高准确性的紧凑型二值化 CNN，其中可训练的权重和激活的比例因子被引入以增加值范围，并通过反向传播与其他参数一起进行训练。通过这些改进，与前人工作相比，本文二值化 CNN 在 CIFAR-10 上的准确度达到 92.3％，在 ImageNet 上，我们的方法用 AlexNet 获得 46.1％的 top-1 准确度，用 Resnet-18 获得 54.2％的 top-1 准确度。

Sep, 2019

回归简单：如何从头训练准确的二值神经网络？

本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构 BinaryDenseNet，并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。

Jun, 2019

使用实数到二进制卷积训练二值神经网络

本文介绍了如何训练二值网络，并通过优化过程和实值卷积输出来最大限度地提高准确性，这对于图像分类任务非常有用。

Mar, 2020

朝着精准二值卷积神经网络

本文引入了一种新颖的方案来训练二值卷积神经网络，使用多个二元权重基的线性组合逼近完全精度权重，并采用多个二元激活来减轻信息丢失的问题，最终实现了一个二值卷积神经网络（ABC-Net），能够在适当的二元权重和激活函数基础上，取得与全精度神经网络相当的预测准确性。

Nov, 2017

ReActNet: 基于广义激活函数实现精准二值神经网络

本文提出了一种改进二进制网络的方法，包括通过 RSign 和 RPReLU 实现激活分布变化的显式学习，以及采用分布损失进一步加强二进制网络的训练，通过这些方法，在不增加计算成本的情况下，将二进制网络精度提高到了比现有二进制网络更高的水平，并将其与实值网络的精度差距降至 3.0％以内。

Mar, 2020

AdaBin: 自适应二值集合优化二值神经网络

本文提出了一种名为 AdaBin 的自适应二值化方法，它通过使用符号函数难以准确地将全精度值二值化的事实，使得我们获得了一组自适应的最优二进制集合，进一步提高了二值特征的表示能力。实验结果表明，AdaBin 在大量基准模型和数据集上达到了 state-of-the-art 的性能。

Aug, 2022

位元神经网络

通过提出一种基于二进制值的神经网络训练方法 (BNN)，实现了通过基本的比特逻辑实现神经网络的前向传递。在资源受限的环境中，BNN 可以取代浮点数运算，减少存储空间占用、内存带宽、以及硬件能耗。同时，我们提出了权重压缩和噪声反向传播等训练技术，生成功能基本与实数网络相当的 BNN。通过在 MNIST 数据集上进行实验，我们证明了 BNN 表现出竞争性的性能并节省大量计算资源。

Jan, 2016

贝叶斯优化的 1 比特卷积神经网络

提出一种新颖的方法，名为 Bayesian optimized 1-bit CNNs（简称 BONNs），利用贝叶斯优化后的 1-bit CNNs 极大程度地改善了其性能，能够在资源受限的环境中获得最佳分类性能，尤其在 ImageNet 上。

Aug, 2019

二值化神经网络：训练深度神经网络，使权重和激活限制为 + 1 或 - 1

本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法，并在 Torch7 和 Theano 框架上进行了实验，在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时，作者提出了一种二进制矩阵乘法 GPU 核函数，使得 MNIST BNN 可以比优化前快 7 倍，而不影响分类准确性。

Feb, 2016