Apr, 2019

训练二值化深度神经网络时规范激活分布

PDF
TL;DR本文提出使用分布损失来规范激活流，成功改善了二值神经网络训练中遇到的退化、饱和和梯度失配等问题，并在不影响其能量效率的同时，提高了其准确性。此外，该规范化方法还能使训练过程更加稳健。
binarized neural networksinference latencyenergy consumptionactivation flowdistribution loss
发现论文，激发创造
  • 正则化二进制网络训练

    本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法，通过改进梯度下降算法中的反向传播计算，在 ImageNet 数据集上比传统二进制神经网络和 XNOR-net 有更好的性能表现。

    Dec, 2018

  • 利用不平衡激活分布提高二值神经网络的准确性

    本文提出二值化神经网络模型的精度问题，并指出通过不平衡激活分布以及调整二值激活函数的阈值，可以在不改变其他结构的情况下提高二值神经网络模型的精度。

    Dec, 2020

  • 回归简单：如何从头训练准确的二值神经网络？

    本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构 BinaryDenseNet，并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。

    Jun, 2019

  • 二值化神经网络：训练深度神经网络，使权重和激活限制为 + 1 或 - 1

    本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法，并在 Torch7 和 Theano 框架上进行了实验，在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时，作者提出了一种二进制矩阵乘法 GPU 核函数，使得 MNIST BNN 可以比优化前快 7 倍，而不影响分类准确性。

    Feb, 2016

  • 基于对比学习的网络二值化

    本文介绍了一种使用对比学习和最大化互信息的方法来使用二进制神经网络实现更好的分类和分割结果，以减少因为二值化操作而导致的信息丢失。

    Jul, 2022

  • AdaBin: 自适应二值集合优化二值神经网络

    本文提出了一种名为 AdaBin 的自适应二值化方法，它通过使用符号函数难以准确地将全精度值二值化的事实，使得我们获得了一组自适应的最优二进制集合，进一步提高了二值特征的表示能力。实验结果表明，AdaBin 在大量基准模型和数据集上达到了 state-of-the-art 的性能。

    Aug, 2022

  • 降低活动性的蒸馏和正则化方法用于能源高效的脉冲神经网络

    利用知识蒸馏和梯度下降进行训练可以优化脉冲神经网络的性能和脉冲活动之间的平衡，同时激活正则化和逻辑回归方法可以减少网络的脉冲活动。

    Jun, 2024

  • 概率二元神经网络

    本文提出使用二进制权重和激活的神经网络的概率训练方法 - BLRNet，通过随机性避免了对 sign () 等不可微函数的梯度的逼近，并仍在测试时获得完全的二进制神经网络。 此外，它允许通过从权重分布中进行抽样来进行任时集成预测以提高性能和不确定性估计。我们在多个标准基准上评估了 BLRNet。

    Sep, 2018

  • BitNet: 比特正则化深度神经网络

    BitNet 是一种基于 Minimum Description Length (MDL) 原则，通过动态限制网络参数的可取范围和值，优化训练神经网络的方法， 在 MNIST 和 CIFAR-10 数据集上通过优化实数值翻译和缩放因子以及任意精度整型参数，BitNet 比等效的非正则化模型更快地收敛生成了质量更高且内存消耗更小的模型。

    Aug, 2017

  • S2-BNN: 通过引导分布校准 架起无监督真实数据与 1 比特神经网络之间的桥梁

    本文提出了一种从实值网络指导学习二值神经网络的方法，通过最小化损失和提高准确性，可以在没有标签的情况下，将简单的对比学习基线提高 5.5~15％，并且在大规模图像分类基准测试 ImageNet 和下游数据集上取得了显著的改进。

    Feb, 2021