Sep, 2019

XNOR-Net++: 二值神经网络的改进

PDF
TL;DR本文提出了一种改进的训练算法，用于针对二元神经网络的权重和激活二进制数的训练，提出了一种新的比 XNOR-Net 更优的方法，通过反向传播学习判别式融合激活和权重缩放因子。实验表明，与分析计算的结果相比，我们的方法更加准确，且在相同的计算预算下，可在 ImageNet 分类任务中提供高达 6% 的准确性提升。
binary neural networksxnor-netscaling factorsbackpropagationimagenet classification
发现论文，激发创造
  • 使用二进制卷积神经网络进行 ImageNet 分类的 XNOR-Net

    本文提出了两种卷积神经网络的高效近似方案：二进制权重网络和 XNOR - 网络，其中 XNOR - 网络既将卷积层输入又将滤波器二值化，主要利用二值运算来近似卷积，这使得卷积速度快 58 倍且内存占用仅为原来的 1/32，而且其分类性能在 ImageNet 数据集上也优于其他网络二值化方法。

    Mar, 2016

  • 正则化二进制网络训练

    本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法，通过改进梯度下降算法中的反向传播计算，在 ImageNet 数据集上比传统二进制神经网络和 XNOR-net 有更好的性能表现。

    Dec, 2018

  • 回归简单：如何从头训练准确的二值神经网络？

    本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构 BinaryDenseNet，并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。

    Jun, 2019

  • Bi-Real Net: 将深度网络二值化以实现真实网络性能

    本文研究了一比特卷积神经网络，通过使用 Bi-Real net 和新颖的训练算法来提高其表现能力和训练困难性，并在 ImageNet 上获得了 56.4％的 top-1 分类准确性，比现有技术提高了 10％以上。

    Nov, 2018

  • XNORBIN：一款用于二值卷积神经网络的 95 TOp/s/W 硬件加速器

    研究表明，使用极端量化可以将 CNN 的权重和中间特征图二值化，从而节省内存并将能量密集型的乘积操作转换为 XNOR 和 popcount 操作，我们提出的二值 CNN 加速器 XNORBIN 在低功率嵌入式系统中具有紧密耦合的计算和内存，能够实现 95 TOp/s/W 的能量效率和 2.0 TOp/s/MGE 的面积效率。

    Mar, 2018

  • 朝着精准二值卷积神经网络

    本文引入了一种新颖的方案来训练二值卷积神经网络，使用多个二元权重基的线性组合逼近完全精度权重，并采用多个二元激活来减轻信息丢失的问题，最终实现了一个二值卷积神经网络（ABC-Net），能够在适当的二元权重和激活函数基础上，取得与全精度神经网络相当的预测准确性。

    Nov, 2017

  • 二值神经网络的循环双线性优化

    为了优化二值神经网络的学习过程，提出了一种从双线性的角度来优化二值神经网络的学习过程（Recorrent Bilinear Optimization），通过回溯稀疏的真实值权重过滤器，RBONNs 在各个模型和数据集上表现出了令人印象深刻的性能，尤其是在目标检测任务方面，表现出了更好的泛化性能。

    Sep, 2022

  • ReBNet: 残差二值化神经网络

    提出了 ReBNet 框架，用于训练可重构的二进制神经网络并在 FPGA 上执行，通过多级二值化提高分类准确性同时满足资源有限的设备要求。

    Nov, 2017

  • 使用训练二值化的准确紧凑卷积神经网络

    本文提出了一种改进的训练方法来提高具有更高准确性的紧凑型二值化 CNN，其中可训练的权重和激活的比例因子被引入以增加值范围，并通过反向传播与其他参数一起进行训练。通过这些改进，与前人工作相比，本文二值化 CNN 在 CIFAR-10 上的准确度达到 92.3％，在 ImageNet 上，我们的方法用 AlexNet 获得 46.1％的 top-1 准确度，用 Resnet-18 获得 54.2％的 top-1 准确度。

    Sep, 2019

  • XNOR 神经引擎：一种用于 21.6 fJ/op 的硬件加速器 IP，用于二进制神经网络推理

    本文介绍了一种以 XNOR 神经引擎为核心的全数字可配置硬件加速器 IP，它能够实现卷积和稠密层的全自动计算，还能够与 MCU 的内核协同工作，实现更复杂的行为。该系统的能量成本仅为每个二进制操作 21.6fJ，足够执行最先进的 BNN 拓扑结构。

    Jul, 2018