CVPRNov, 2021

PokeBNN：轻量级准确性的二进制追求

PDF
TL;DR本文提出了 PokeConv，一个对二值神经网络 (BNNs) 卷积进行膨胀的方案，并对 ResNet-50 进行优化，进一步提高了准确性和网络的成本。通过定义算数计算代价 (ACE) 这样一个硬件和能源的成本度量标准，实现了准确性和成本的联合优化。此外，我们还发现了优化二进制跃迁的梯度近似的超参数的必要性。最终我们在 CPU64 成本、ACE 成本和网络大小这些公共度量标准下都取得了新的最佳成果，而且我们提出的 PokeBNN 型网络成本低、准确率高。
binary neural networksconvolutional neural networksoptimizationtop-1 accuracyhyper-parameter optimization
发现论文，激发创造
  • 朝着精准二值卷积神经网络

    本文引入了一种新颖的方案来训练二值卷积神经网络，使用多个二元权重基的线性组合逼近完全精度权重，并采用多个二元激活来减轻信息丢失的问题，最终实现了一个二值卷积神经网络（ABC-Net），能够在适当的二元权重和激活函数基础上，取得与全精度神经网络相当的预测准确性。

    Nov, 2017

  • RepBNN: 通过重复以增强特征图的方式朝着更精确的二值神经网络迈进

    本文介绍一种名称为 RepConv 的可替换并易于使用的卷积模块，通过在通道维度上复制输入或输出以增强特征图，以提高二进制神经网络（BNN）的性能和准确性，并使用 RepTran 规则在整个 BNN 模块中应用 RepConv 使得 BNN 在 CIFAR-10 和 ImageNet 数据集上均有显著的性能提升

    Jul, 2022

  • 使用训练二值化的准确紧凑卷积神经网络

    本文提出了一种改进的训练方法来提高具有更高准确性的紧凑型二值化 CNN，其中可训练的权重和激活的比例因子被引入以增加值范围，并通过反向传播与其他参数一起进行训练。通过这些改进，与前人工作相比，本文二值化 CNN 在 CIFAR-10 上的准确度达到 92.3％，在 ImageNet 上，我们的方法用 AlexNet 获得 46.1％的 top-1 准确度，用 Resnet-18 获得 54.2％的 top-1 准确度。

    Sep, 2019

  • AdaBin: 自适应二值集合优化二值神经网络

    本文提出了一种名为 AdaBin 的自适应二值化方法，它通过使用符号函数难以准确地将全精度值二值化的事实，使得我们获得了一组自适应的最优二进制集合，进一步提高了二值特征的表示能力。实验结果表明，AdaBin 在大量基准模型和数据集上达到了 state-of-the-art 的性能。

    Aug, 2022

  • MeliusNet: 二进制神经网络能达到 MobileNet 的准确性吗？

    本文提出了一种新的二进制神经网络构架 MeliusNet，采用 “密集块 + 改进块” 交替的方式可以增加特征容量和特征质量，通过在 ImageNet 数据集上的实验，证明了该构架可以在操作数、精度以及计算效率上大幅提高，代码已公开发布。

    Jan, 2020

  • BoolNet: 二值神经网络能耗最小化

    本文提出了一种名为 BoolNet 的二值神经网络（BNN）架构，该架构不使用常见的 32 位组件，能够在不影响准确性的情况下减少能源消耗，并且与现有的 BNN 架构 Bi-RealNet 相比，能够获得高达 1.2% 的额外准确性和 4.6 倍的能量降低。

    Jun, 2021

  • 回归简单：如何从头训练准确的二值神经网络？

    本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构 BinaryDenseNet，并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。

    Jun, 2019

  • FracBNN：具有分数激活的准确和 FPGA 高效二值神经网络

    研究提出了一个名为 FracBNN 的新型二进制神经网络模型，利用分数激活方法，通过双精度激活方案和新型冷却器编码等技术解决旧模型在现实数据集（如 ImageNet）表现不佳的问题。FracBNN 可以实现同等规模的 MobileNetV2 的精准率，且模型尺寸减少了 2.5 倍。在嵌入式 FPGA 设备上，FracBNN 显示出实时图像分类的能力。

    Dec, 2020

  • 二进制神经网络中的数据流优化

    通过引入剪裁块，减少二元神经网络层的数据宽度和内部累加器大小，同时优化批标准化层的实现和 ARM 指令集的二值化卷积，提高了推理速度和准确度。

    Apr, 2023

  • 基于进化搜索的二值化 MobileNet

    本研究提出了使用进化搜索来促进 MobileNet 的二值化设计和训练方案，通过操作组卷积的想法来设计高效的 1 位卷积神经网络，从而探索最佳的候选组卷积，以优化模型性能，并在 ImageNet 上进行了各种实验，展示了我们的构建指南，最终模型在相同计算成本下超越了现有技术。

    May, 2020