IJCAIAug, 2019

RBCN: 提高 1 比特 DCNN 性能的修正二进制卷积网络

PDF
TL;DR本文提出一种名为修正二值卷积网络（RBCNs）的优化二值卷积神经网络的方法，通过结合全精度卷积核和特征图在统一框架内实现二值化过程的校正，并使用生成对抗网络（GAN）以其相应的全精度模型为指导来训练 1 位二进制网络，从而显著提高了 BCNN 的性能。该方法的可塑性强，并可轻松纳入现有的 DCNN 中，如 WideResNets 和 ResNets。大量实验表明，所提出的 RBCNs 比最先进的 BCNNs 具有优越的性能，并在物体跟踪任务中显示了强大的泛化能力。
binarized convolutional neural networksrectified binary convolutional networksganperformance optimizationobject tracking
发现论文，激发创造
  • GBCNs: 基因二进制卷积网络用于增强 1-bit DCNNs 性能

    提出了基因二元卷积神经网络（Genetic Binary Convolutional Networks，GBCN），并利用一种新的平衡遗传算法（balanced Genetic Algorithm，BGA）解决了 1 位深度卷积神经网络（DCNNs）中存在的局部极小值问题，该方法在目标分类任务（CIFAR，ImageNet）上得到了验证，表现出强大的泛化性能。

    Nov, 2019

  • 循环二进制卷积网络：通过循环反向传播提升 1-bit DCNN 的性能

    本文提出了一种新的循环滤波器（CiFs）和循环二值卷积（CBConv）算法，以及通过循环反向传播（CBP）提高二值卷积特征容量的方法，并将其应用于现有的深层卷积神经网络（DCNNs）来构建新的循环二进制卷积网络（CBCNs）。在 ImageNet 数据集上的实验结果表明，提出的 CBCN 模型可以实现 61.4％的 top-1 准确率，比现有的 XNOR 方法的表现高出 10％。

    Oct, 2019

  • RepBNN: 通过重复以增强特征图的方式朝着更精确的二值神经网络迈进

    本文介绍一种名称为 RepConv 的可替换并易于使用的卷积模块，通过在通道维度上复制输入或输出以增强特征图，以提高二进制神经网络（BNN）的性能和准确性，并使用 RepTran 规则在整个 BNN 模块中应用 RepConv 使得 BNN 在 CIFAR-10 和 ImageNet 数据集上均有显著的性能提升

    Jul, 2022

  • 贝叶斯优化的 1 比特卷积神经网络

    提出一种新颖的方法，名为 Bayesian optimized 1-bit CNNs（简称 BONNs），利用贝叶斯优化后的 1-bit CNNs 极大程度地改善了其性能，能够在资源受限的环境中获得最佳分类性能，尤其在 ImageNet 上。

    Aug, 2019

  • 使用训练二值化的准确紧凑卷积神经网络

    本文提出了一种改进的训练方法来提高具有更高准确性的紧凑型二值化 CNN，其中可训练的权重和激活的比例因子被引入以增加值范围，并通过反向传播与其他参数一起进行训练。通过这些改进，与前人工作相比，本文二值化 CNN 在 CIFAR-10 上的准确度达到 92.3％，在 ImageNet 上，我们的方法用 AlexNet 获得 46.1％的 top-1 准确度，用 Resnet-18 获得 54.2％的 top-1 准确度。

    Sep, 2019

  • 二进制化图像修复网络的基本二值卷积单元

    本文探讨了针对 IR 任务中二进制卷积的组件，如残差连接，批归一化，激活函数和结构以及它们在 BNN 中的作用和缺陷，并设计了基本的二进制卷积单元（BBCU），通过 BBCU 为各个 IR 网络部分设计了变种。实验结果表明 BBCU 能够成为二进制化 IR 网络的基本单元。

    Oct, 2022

  • 朝着精准二值卷积神经网络

    本文引入了一种新颖的方案来训练二值卷积神经网络，使用多个二元权重基的线性组合逼近完全精度权重，并采用多个二元激活来减轻信息丢失的问题，最终实现了一个二值卷积神经网络（ABC-Net），能够在适当的二元权重和激活函数基础上，取得与全精度神经网络相当的预测准确性。

    Nov, 2017

  • BDC-Occ: 二值化占据网络的二值化深度卷积单元

    通过引入一种新型的二值化深度卷积单元（BDC），有效提高了性能，同时增加了二值化卷积层的数量，从而构建了一种全新的二值化三维占用网络算法（BDC-Occ），该算法已经在综合定量和定性实验证明是目前最先进的二值化三维占用网络算法。

    May, 2024

  • ReActXGB: 一种混合二进制卷积神经网络架构，用于提高性能和计算效率

    提出了一种名为 ReActXGB 的混合模型，在 FashionMNIST 基准测试中，ReActXGB 在 top-1 准确率上优于 ReActNet-A 1.47%，同时减少了 7.14% 的浮点运算和 1.02% 的模型大小。

    May, 2024

  • 使用二值化神经网络的高效超分辨率

    本文探讨了网络二值化在单图像超分辨率中的应用，给出了一种只对残差块中的卷积滤波器进行二值化并采用可学习权重的方法，实验表明该方法在保持重构精度的同时能够显著减小模型大小并提供更高的推理速度。

    Dec, 2018