CVPRMar, 2023

通过稀疏核选择压缩二值神经网络

PDF
TL;DR本研究提出了一种通过学习二元核子空间内的非重复核来压缩典型的二进制神经网络模型的方法，通过 Gumbel-Sinkhorn 技术近似码字选择过程，在可比较的预算下实现了模型大小和计算成本的降低，并获得了与现有技术相比的精度提升。
binary neural networkkernel groupinggumbel-sinkhorn techniquepermutation straight-through estimatormodel compression
发现论文，激发创造
  • Sub-bit 神经网络：学习压缩和加速二进制神经网络

    介绍了一种基于子位二值化的神经网络设计，通过针对二值卷积核子集训练，使用随机采样和优化步骤来调整这些子集，从而压缩和加速二值神经网络的模型。实验证明，该方法在图像识别基准和 FPGA 硬件部署上具有巨大潜力，可以在适度降低识别准确度的情况下实现运行时间加快和模型压缩。

    Oct, 2021

  • 位元神经网络

    通过提出一种基于二进制值的神经网络训练方法 (BNN)，实现了通过基本的比特逻辑实现神经网络的前向传递。在资源受限的环境中，BNN 可以取代浮点数运算，减少存储空间占用、内存带宽、以及硬件能耗。同时，我们提出了权重压缩和噪声反向传播等训练技术，生成功能基本与实数网络相当的 BNN。通过在 MNIST 数据集上进行实验，我们证明了 BNN 表现出竞争性的性能并节省大量计算资源。

    Jan, 2016

  • 稀疏化二进制神经网络的二进制域泛化

    该论文提出了一种新的更一般的二进制域，扩展了标准二进制域，并且更适合剪枝技术，在保证性能的同时提高了压缩率，这种方法与其他修剪策略相结合可以生成高效稀疏网络，并减少内存使用和运行时间延迟。

    Jun, 2023

  • 二值化神经网络

    本文介绍了一种对二值化神经网络进行训练的方法，并在 Torch7 和 Theano 两个框架下，对 MNIST、CIFAR-10 和 SVHN 数据集进行了实验，取得了近乎领先水平的结果。通过在前向传递过程中使用二值化的权重和激活值，可以大幅减少内存消耗，用位运算取代大多数算术运算，并且使用二进制矩阵乘法 GPU 内核可以比未优化的 GPU 内核快 7 倍，而不会损失分类准确度。

    Feb, 2016

  • 二进制集成神经网络：每个网络的比特数更多还是每个比特的网络数更多？

    对二元神经网络进行了广泛的实验以了解其表示能力、速度及偏差 / 方差。提出了一种二元集成神经网络，通过集成方法来提高二元神经网络的性能，从而更快、更鲁棒，甚至能够超越具有相同结构的完全精确的浮点数网络的准确性。

    Jun, 2018

  • MST 压缩：通过最小生成树压缩和加速二进制神经网络

    本文提出了一种名为最小生成树（MST）压缩的新方法，用于学习压缩和加速二值神经网络（BNNs），旨在降低计算成本和延迟，实验结果表明这种方法在资源受限的边缘计算设备上能够显著提高压缩比率并实现可忽略的准确度下降。

    Aug, 2023

  • 回归简单：如何从头训练准确的二值神经网络？

    本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构 BinaryDenseNet，并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。

    Jun, 2019

  • 二值化神经网络：训练深度神经网络，使权重和激活限制为 + 1 或 - 1

    本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法，并在 Torch7 和 Theano 框架上进行了实验，在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时，作者提出了一种二进制矩阵乘法 GPU 核函数，使得 MNIST BNN 可以比优化前快 7 倍，而不影响分类准确性。

    Feb, 2016

  • 稀疏子空间变分推断训练贝叶斯神经网络

    稀疏子空间变分推理（SSVI）是一种全稀疏贝叶斯神经网络（BNN）框架，它通过从随机初始化的低维稀疏子空间开始，交替优化稀疏子空间基选择和相关参数，实现了在训练和推理阶段一致高稀疏性的 BNN 模型。

    Feb, 2024

  • 通过堆叠低维二进制卷积滤波器来压缩深度卷积神经网络

    本研究提出了一种新的模型压缩方法 —— 通过堆叠低维二进制卷积核来压缩深度卷积神经网络模型，从而实现比二进制 CNN 模型更高的压缩比，比现有方法维持相似精度。

    Oct, 2020