Sep, 2019

带门控残差的平衡二值神经网络

PDF
TL;DR本文介绍了一种基于平衡二元神经网络和门控残差的二元神经网络方法 (BBG)，针对其信息丢失问题，提出使用权重平衡二值化和门控残差结构来提高作用量的信息熵和防止信息丢失。经实验证明，BBG 方法在各种网络架构中表现出优异的性能，包括在分类和检测等任务上的表现，在记忆消耗、推断速度和准确性方面优于现有技术。
binary neural networksbalanced binary neural networksgated residualbinarizationinformation loss
发现论文，激发创造
  • 准确的二进制神经网络的前向和后向信息保留

    本研究提出了一种信息保留网络（IR-Net）以解决二元神经网络在正向和反向传播中的信息丢失问题，并通过权衡和标准化权重以同时减少量化误差和信息损失来最小化参数的量化误差。在 CIFAR-10 和 ImageNet 数据集上的综合实验表明，所提出的 IR-Net 可以始终优于最先进的量化方法。

    Sep, 2019

  • 面向分布的信息保留的精确二值神经网络

    本文介绍了一种名为 DIR-Net 的神经网络二值化方法，通过改进内部传播和引入外部表示来保留神经网络信息；采用信息最大化二值化（IMB）、分布敏感二段估计器（DTE）和表示对齐二值化感知蒸馏（RBD）等三项技术，该方法在 ResNet、VGG、EfficientNet、DARTS 和 MobileNet 等主流紧凑体系结构下实验表现优异，可在实际资源受限设备上实现存储节省和加速优化。

    Sep, 2021

  • 基于对比学习的网络二值化

    本文介绍了一种使用对比学习和最大化互信息的方法来使用二进制神经网络实现更好的分类和分割结果，以减少因为二值化操作而导致的信息丢失。

    Jul, 2022

  • ReBNet: 残差二值化神经网络

    提出了 ReBNet 框架，用于训练可重构的二进制神经网络并在 FPGA 上执行，通过多级二值化提高分类准确性同时满足资源有限的设备要求。

    Nov, 2017

  • 二进制化图像修复网络的基本二值卷积单元

    本文探讨了针对 IR 任务中二进制卷积的组件，如残差连接，批归一化，激活函数和结构以及它们在 BNN 中的作用和缺陷，并设计了基本的二进制卷积单元（BBCU），通过 BBCU 为各个 IR 网络部分设计了变种。实验结果表明 BBCU 能够成为二进制化 IR 网络的基本单元。

    Oct, 2022

  • 弹性二进制神经网络

    本文提出了一种 Resilient Binary Neural Network（ReBNN）来减轻二进制神经网络的重量震荡问题，并通过引入加权重建损失来构建自适应训练目标，该方法在计算机视觉等多种网络模型上具有优异的表现。

    Feb, 2023

  • 二元图神经网络

    本论文探讨了将二值化技术应用于图神经网络的方法，并成功设计了能够在 Hamming 空间内快速构建动态图的模型，实现了在准确性轻微损失的代价下在嵌入式设备上取得了显著的存储空间和时间扩展的效果。

    Dec, 2020

  • GBCNs: 基因二进制卷积网络用于增强 1-bit DCNNs 性能

    提出了基因二元卷积神经网络（Genetic Binary Convolutional Networks，GBCN），并利用一种新的平衡遗传算法（balanced Genetic Algorithm，BGA）解决了 1 位深度卷积神经网络（DCNNs）中存在的局部极小值问题，该方法在目标分类任务（CIFAR，ImageNet）上得到了验证，表现出强大的泛化性能。

    Nov, 2019

  • 二进制生成对抗网络用于图像检索

    本文提出一种使用二进制生成对抗网络（BGAN）进行无监督学习的图片编码方法，通过限制噪声变量为二进制并使用新的标志激活策略和损失函数，在不松弛约束条件下生成二进制编码，并提高了图像检索的准确性，相较于现有的哈希方法，我们的方法在标准数据集上的表现提高了 107%。

    Aug, 2017

  • 利用不平衡激活分布提高二值神经网络的准确性

    本文提出二值化神经网络模型的精度问题，并指出通过不平衡激活分布以及调整二值激活函数的阈值，可以在不改变其他结构的情况下提高二值神经网络模型的精度。

    Dec, 2020