ECCVSep, 2022

通过建模上下文依赖性实现精确的二进制神经网络

PDF
TL;DR本文中，我们提出了可用于学习视觉模型的有效二进制神经模块。我们将二进制多层感知器（MLP）块作为二进制卷积块的替代方案，通过模型化短程和长程特征依赖关系来解决二进制模型上下文依赖关系的问题。我们构建了显式上下文依赖建模的 BNNs，称为 BCDNet，在标准的 ImageNet 分类基准测试中，BCDNet 实现了 72.3％的 Top-1 准确率，并以类似的操作超越了领先的二进制方法。
binary neural networkscontextual dependency modelingimagenet
发现论文，激发创造
  • 回归简单：如何从头训练准确的二值神经网络？

    本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构 BinaryDenseNet，并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。

    Jun, 2019

  • 朝着精准二值卷积神经网络

    本文引入了一种新颖的方案来训练二值卷积神经网络，使用多个二元权重基的线性组合逼近完全精度权重，并采用多个二元激活来减轻信息丢失的问题，最终实现了一个二值卷积神经网络（ABC-Net），能够在适当的二元权重和激活函数基础上，取得与全精度神经网络相当的预测准确性。

    Nov, 2017

  • 基于对比学习的网络二值化

    本文介绍了一种使用对比学习和最大化互信息的方法来使用二进制神经网络实现更好的分类和分割结果，以减少因为二值化操作而导致的信息丢失。

    Jul, 2022

  • 二进制化图像修复网络的基本二值卷积单元

    本文探讨了针对 IR 任务中二进制卷积的组件，如残差连接，批归一化，激活函数和结构以及它们在 BNN 中的作用和缺陷，并设计了基本的二进制卷积单元（BBCU），通过 BBCU 为各个 IR 网络部分设计了变种。实验结果表明 BBCU 能够成为二进制化 IR 网络的基本单元。

    Oct, 2022

  • BDC-Occ: 二值化占据网络的二值化深度卷积单元

    通过引入一种新型的二值化深度卷积单元（BDC），有效提高了性能，同时增加了二值化卷积层的数量，从而构建了一种全新的二值化三维占用网络算法（BDC-Occ），该算法已经在综合定量和定性实验证明是目前最先进的二值化三维占用网络算法。

    May, 2024

  • 学习训练二元神经网络

    研究二进制神经网络在移动设备等低计算能力设备上的训练过程，并探索网络结构、超参数等因素对于准确性的影响，提高了二进制神经网络的训练精度。

    Sep, 2018

  • RBCN: 提高 1 比特 DCNN 性能的修正二进制卷积网络

    本文提出一种名为修正二值卷积网络（RBCNs）的优化二值卷积神经网络的方法，通过结合全精度卷积核和特征图在统一框架内实现二值化过程的校正，并使用生成对抗网络（GAN）以其相应的全精度模型为指导来训练 1 位二进制网络，从而显著提高了 BCNN 的性能。该方法的可塑性强，并可轻松纳入现有的 DCNN 中，如 WideResNets 和 ResNets。大量实验表明，所提出的 RBCNs 比最先进的 BCNNs 具有优越的性能，并在物体跟踪任务中显示了强大的泛化能力。

    Aug, 2019

  • MeliusNet: 二进制神经网络能达到 MobileNet 的准确性吗？

    本文提出了一种新的二进制神经网络构架 MeliusNet，采用 “密集块 + 改进块” 交替的方式可以增加特征容量和特征质量，通过在 ImageNet 数据集上的实验，证明了该构架可以在操作数、精度以及计算效率上大幅提高，代码已公开发布。

    Jan, 2020

  • 本地二进制卷积神经网络

    本文提出了本地二进制卷积（LBC），它是标准卷积神经网络（CNN）中卷积层的有效替代方法。LBC 层由一组固定的稀疏预定义的二进制卷积滤波器、非线性激活函数和一组可学习的线性权重组成，它可以显著节省计算和参数空间。

    Aug, 2016

  • 二值化神经网络：训练深度神经网络，使权重和激活限制为 + 1 或 - 1

    本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法，并在 Torch7 和 Theano 框架上进行了实验，在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时，作者提出了一种二进制矩阵乘法 GPU 核函数，使得 MNIST BNN 可以比优化前快 7 倍，而不影响分类准确性。

    Feb, 2016