ECCVSep, 2022

二值神经网络的循环双线性优化

PDF
TL;DR为了优化二值神经网络的学习过程，提出了一种从双线性的角度来优化二值神经网络的学习过程（Recorrent Bilinear Optimization），通过回溯稀疏的真实值权重过滤器，RBONNs 在各个模型和数据集上表现出了令人印象深刻的性能，尤其是在目标检测任务方面，表现出了更好的泛化性能。
binary neural networksscale factor calculationbilinear relationshiprecurrent bilinear optimizationobject detection
发现论文，激发创造
  • 弹性二进制神经网络

    本文提出了一种 Resilient Binary Neural Network（ReBNN）来减轻二进制神经网络的重量震荡问题，并通过引入加权重建损失来构建自适应训练目标，该方法在计算机视觉等多种网络模型上具有优异的表现。

    Feb, 2023

  • 正则化二进制网络训练

    本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法，通过改进梯度下降算法中的反向传播计算，在 ImageNet 数据集上比传统二进制神经网络和 XNOR-net 有更好的性能表现。

    Dec, 2018

  • XNOR-Net++: 二值神经网络的改进

    本文提出了一种改进的训练算法，用于针对二元神经网络的权重和激活二进制数的训练，提出了一种新的比 XNOR-Net 更优的方法，通过反向传播学习判别式融合激活和权重缩放因子。实验表明，与分析计算的结果相比，我们的方法更加准确，且在相同的计算预算下，可在 ImageNet 分类任务中提供高达 6% 的准确性提升。

    Sep, 2019

  • 回归简单：如何从头训练准确的二值神经网络？

    本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构 BinaryDenseNet，并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。

    Jun, 2019

  • 潜在权重不存在：重新思考二值化神经网络优化

    本文探讨了二值神经网络（BNNs）优化的问题，提出了将潜在权值解释为惯性，并引入了 BNNs 的第一个优化器 ——Binary Optimizer（Bop），以提高训练方法学的效率。该优化器在 CIFAR-10 和 ImageNet 上表现良好。

    Jun, 2019

  • 旋转二元神经网络

    本文提出了旋转二进制神经网络 (RBNN) 框架，通过调整全精度权重向量和其二进制版本之间的角度对齐，优化量化误差。利用可调节的旋转权重向量来实现二值化过程的合理转化，最终在 CIFAR-10 和 ImageNet 数据集上取得了比多个现有模型更好的结果。

    Sep, 2020

  • 使用二进制神经网络实现设备上的持续学习

    提出了一种将连续学习和二进制神经网络结合起来的解决方案，同时在设备上进行训练并保持竞争性的性能，该方法利用二进制潜在重播激活和一种新的量化方案，显著减少了梯度计算所需的位数，实验证实了模型的准确性和对内存需求的明显减少，从而扩展了深度学习在实际场景中的应用。

    Jan, 2024

  • A Bop and Beyond: 二阶优化器用于二值神经网络

    本文提出了一种用于训练 BNN 的优化器方法 Bop2ndOrder，使用双曲正切函数对二值化的权重进行优化，在超参数空间的完整消融研究及对比实验中，该方法在 CIFAR10 和 ImageNet 数据集中都能够更快地收敛并获得更好的准确性。

    Apr, 2021

  • 可再配置逻辑上二值神经网络的扩展

    该论文研究了如何在 BNN 网络中使用 padding 提高分类准确率的同时，仍然保持 1 位数据通路。作者展示了该方法的灵活性和可扩展性，并在 ADM-PCIE-8K5 平台上实现了大型 BNN 分类的快速和精确。

    Jan, 2017

  • 训练二值化深度神经网络时规范激活分布

    本文提出使用分布损失来规范激活流，成功改善了二值神经网络训练中遇到的退化、饱和和梯度失配等问题，并在不影响其能量效率的同时，提高了其准确性。此外，该规范化方法还能使训练过程更加稳健。

    Apr, 2019