ICCVMar, 2021

ReCU：二进制神经网络中死亡权重的复活

PDF
TL;DR本文通过引入重整夹紧单元（ReCU）同时考虑权重信息熵和死权重，提出了一种针对二值神经网络（BNN）训练的新方法，实现了更快的训练和领先于最近的方法在 CIFAR-10 和 ImageNet 数据集上的性能。
binary neural networksdead weightsrectified clamp unitweight standardizationinformation entropy
发现论文，激发创造
  • 弹性二进制神经网络

    本文提出了一种 Resilient Binary Neural Network（ReBNN）来减轻二进制神经网络的重量震荡问题，并通过引入加权重建损失来构建自适应训练目标，该方法在计算机视觉等多种网络模型上具有优异的表现。

    Feb, 2023

  • UCNN：通过重复权重利用深度神经网络中的计算

    本研究旨在研究如何利用卷积神经网络（CNNs）中的重复权重来提高其能效和性能。作者提出了一种名为 UCNN 的 CNN 加速器，通过利用重复权重来重复使用 CNN 的子计算（例如点积），同时减少储存在 DRAM 中的 CNN 模型大小，从而达到节约能量和提高性能的目的。对三个当代 CNN 进行测试表明，UCNN 的吞吐量 / 能耗比可以比 Eyeriss 风格稀疏优化的基线加速器提高 1.2x-4x，同时 UCNN 处理单元相对同等基线只有 17-24％的面积开销。

    Apr, 2018

  • 循环神经网络的有效量化方法

    本文提出了一种量化 LSTM 和 GRU 细胞中的门和互联结构的方法以及平衡量化权重的方法，通过在 PTB 和 IMDB 数据集上的实验证明了该方法的有效性，该方法在减小存储大小和内存使用方面优于之前的量化 RNN，并且可以加速训练和推理。

    Nov, 2016

  • RepBNN: 通过重复以增强特征图的方式朝着更精确的二值神经网络迈进

    本文介绍一种名称为 RepConv 的可替换并易于使用的卷积模块，通过在通道维度上复制输入或输出以增强特征图，以提高二进制神经网络（BNN）的性能和准确性，并使用 RepTran 规则在整个 BNN 模块中应用 RepConv 使得 BNN 在 CIFAR-10 和 ImageNet 数据集上均有显著的性能提升

    Jul, 2022

  • ReBNet: 残差二值化神经网络

    提出了 ReBNet 框架，用于训练可重构的二进制神经网络并在 FPGA 上执行，通过多级二值化提高分类准确性同时满足资源有限的设备要求。

    Nov, 2017

  • 循环神经网络的交替多比特量化

    本文通过量化神经网络的权重和激活值为多个 {-1，+1} 的二进制编码来解决在性能有限的移动设备和高并发服务器上部署神经网络时的问题，并在长短时记忆和门控循环单元等领域进行了测试，结果显示仅失去一定的准确性，我们可以通过两位量化实现约 16 倍的内存节省和约 6 倍的实际推理加速，在三位量化下，我们几乎不会失去准确性，甚至可以超越原始模型，同时节省约 10.5 倍的内存和约 3 倍的实际推理加速。

    Feb, 2018

  • 深度网络的损失感知权重量化

    本文考虑使用权重量化压缩深度网络，将最近提出的有损权重二值化方案推广到三值化，并在前馈和循环神经网络上进行实验，发现该方案优于现有的权重量化算法，精度与全精度网络相当或更高。

    Feb, 2018

  • 深度神经网络在量化下的鲁棒性

    本研究分析了前馈深度神经网络 (FFDNN) 和卷积神经网络 (CNN) 的重训练对量化网络的影响，通过控制网络复杂度，发现高度复杂的 DNN 能够吸收严格的重量化影响并通过重训练提高性能，在硬件资源受限时提示了网络大小和精度之间的折衷。

    Nov, 2015

  • 基于二进制神经网络的设备上学习

    现有的连续学习解决方案只在将深度学习模型部署在低功率嵌入式 CPU 上时部分地解决了功耗、内存和计算的限制。本文提出了一种连续学习解决方案，它结合了连续学习领域的最新进展和二值神经网络（BNN）的高效性，该网络使用 1 位用于权重和激活以高效执行深度学习模型。我们提出了一种混合量化的 CWR*（一种有效的连续学习方法），它在前向和反向传播时考虑了不同的因素，以保留在梯度更新步骤和最小化延迟开销时的更高精度。选择二值网络作为基础是满足低功率设备限制的关键，据作者所知，这是首次尝试证明使用 BNN 进行设备上学习的方法。进行的实验验证了所提方法的有效性和适用性。

    Aug, 2023

  • 准确的二进制神经网络的前向和后向信息保留

    本研究提出了一种信息保留网络（IR-Net）以解决二元神经网络在正向和反向传播中的信息丢失问题，并通过权衡和标准化权重以同时减少量化误差和信息损失来最小化参数的量化误差。在 CIFAR-10 和 ImageNet 数据集上的综合实验表明，所提出的 IR-Net 可以始终优于最先进的量化方法。

    Sep, 2019