AdaBin: 自适应二值集合优化二值神经网络

ECCVAug, 2022

AdaBin: 自适应二值集合优化二值神经网络

AdaBin: Improving Binary Neural Networks with Adaptive Binary Sets

Zhijun Tu, Xinghao Chen, Pengju Ren, Yunhe Wang

TL;DR本文提出了一种名为 AdaBin 的自适应二值化方法，它通过使用符号函数难以准确地将全精度值二值化的事实，使得我们获得了一组自适应的最优二进制集合，进一步提高了二值特征的表示能力。实验结果表明，AdaBin 在大量基准模型和数据集上达到了 state-of-the-art 的性能。

Abstract

This paper studies the binary neural networks (BNNs) in which weights and activations are both binarized into 1-bit values, thus greatly reducing the memory usage and computational complexity. Since the modern deep neural networks are of sophisticated design with complex architecture f

binary neural networks adabin quantization optimization state-of-the-art performance

发现论文，激发创造

二值化神经网络：训练深度神经网络，使权重和激活限制为 + 1 或 - 1

本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法，并在 Torch7 和 Theano 框架上进行了实验，在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时，作者提出了一种二进制矩阵乘法 GPU 核函数，使得 MNIST BNN 可以比优化前快 7 倍，而不影响分类准确性。

Feb, 2016

朝着精准二值卷积神经网络

本文引入了一种新颖的方案来训练二值卷积神经网络，使用多个二元权重基的线性组合逼近完全精度权重，并采用多个二元激活来减轻信息丢失的问题，最终实现了一个二值卷积神经网络（ABC-Net），能够在适当的二元权重和激活函数基础上，取得与全精度神经网络相当的预测准确性。

Nov, 2017

利用不平衡激活分布提高二值神经网络的准确性

本文提出二值化神经网络模型的精度问题，并指出通过不平衡激活分布以及调整二值激活函数的阈值，可以在不改变其他结构的情况下提高二值神经网络模型的精度。

Dec, 2020

基于对比学习的网络二值化

本文介绍了一种使用对比学习和最大化互信息的方法来使用二进制神经网络实现更好的分类和分割结果，以减少因为二值化操作而导致的信息丢失。

Jul, 2022

自二值化网络

本文介绍一种训练自我二值化神经网络的方法，通过使用平滑激活函数代替符号激活函数，减少二值化过程中的优化难度，同时还提出了一种简化二值批归一化的方法，实现了比传统浮点和二值网络更低的内存和计算消耗以及更高的分类准确率。

Feb, 2019

正则化二进制网络训练

本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法，通过改进梯度下降算法中的反向传播计算，在 ImageNet 数据集上比传统二进制神经网络和 XNOR-net 有更好的性能表现。

Dec, 2018

回归简单：如何从头训练准确的二值神经网络？

本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构 BinaryDenseNet，并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。

Jun, 2019

二值化神经网络

本文介绍了一种对二值化神经网络进行训练的方法，并在 Torch7 和 Theano 两个框架下，对 MNIST、CIFAR-10 和 SVHN 数据集进行了实验，取得了近乎领先水平的结果。通过在前向传递过程中使用二值化的权重和激活值，可以大幅减少内存消耗，用位运算取代大多数算术运算，并且使用二进制矩阵乘法 GPU 内核可以比未优化的 GPU 内核快 7 倍，而不会损失分类准确度。

Feb, 2016

MeliusNet: 二进制神经网络能达到 MobileNet 的准确性吗？

本文提出了一种新的二进制神经网络构架 MeliusNet，采用 “密集块 + 改进块” 交替的方式可以增加特征容量和特征质量，通过在 ImageNet 数据集上的实验，证明了该构架可以在操作数、精度以及计算效率上大幅提高，代码已公开发布。

Jan, 2020

使用训练二值化的准确紧凑卷积神经网络

本文提出了一种改进的训练方法来提高具有更高准确性的紧凑型二值化 CNN，其中可训练的权重和激活的比例因子被引入以增加值范围，并通过反向传播与其他参数一起进行训练。通过这些改进，与前人工作相比，本文二值化 CNN 在 CIFAR-10 上的准确度达到 92.3％，在 ImageNet 上，我们的方法用 AlexNet 获得 46.1％的 top-1 准确度，用 Resnet-18 获得 54.2％的 top-1 准确度。

Sep, 2019