May, 2023

$\partial\mathbb {B}$ 网格：通过梯度下降学习离散函数

PDF
TL;DR该研究介绍了一种利用梯度下降学习离散布尔值函数的可微分神经网络，该网络具有不可微分的硬网络和可微分的软网络，可以通过后向传播算法进行训练。在实验中，该网络展现了可比较的性能，同时由于使用了 1 比特权重的方式，紧凑并且具有解释性。
partial b netsdifferentiable neural networksboolean-valued functionshard-netbackpropagation
发现论文，激发创造
  • 正则化二进制网络训练

    本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法，通过改进梯度下降算法中的反向传播计算，在 ImageNet 数据集上比传统二进制神经网络和 XNOR-net 有更好的性能表现。

    Dec, 2018

  • BitNet: 比特正则化深度神经网络

    BitNet 是一种基于 Minimum Description Length (MDL) 原则，通过动态限制网络参数的可取范围和值，优化训练神经网络的方法， 在 MNIST 和 CIFAR-10 数据集上通过优化实数值翻译和缩放因子以及任意精度整型参数，BitNet 比等效的非正则化模型更快地收敛生成了质量更高且内存消耗更小的模型。

    Aug, 2017

  • 混合凸组合优化问题下的深度学习

    本研究提出了一种递归小批量算法，通过离散优化目标找到满足训练集目标的硬阈值激活神经网络，可以提高分类精度，适用于大规模集成系统。

    Oct, 2017

  • 自二值化网络

    本文介绍一种训练自我二值化神经网络的方法，通过使用平滑激活函数代替符号激活函数，减少二值化过程中的优化难度，同时还提出了一种简化二值批归一化的方法，实现了比传统浮点和二值网络更低的内存和计算消耗以及更高的分类准确率。

    Feb, 2019

  • 分类二值化：软函数真的有必要吗？

    该文提出了将网络二值化看作是二元分类问题，并使用多层感知机（MLP）作为分类器解决大梯度误差的问题，实验表明该方法可显著提高二进制网络的性能。

    May, 2022

  • 利用贝叶斯学习规则训练二值神经网络

    本文提出了一种基于贝叶斯学习规则的方法来解决训练二进制神经网络的有限制的问题。该算法不仅能够获得最先进的性能，而且还能够估计不确定性以避免灾难性遗忘。

    Feb, 2020

  • 回归简单：如何从头训练准确的二值神经网络？

    本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构 BinaryDenseNet，并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。

    Jun, 2019

  • 神经网络梯度学习黑盒函数接口

    提出了一种基于端到端训练的神经网络的方法，该方法通过将黑盒函数的功能与可微分的神经网络进行逼近，以驱动神经网络遵守黑盒函数接口。在推理时，将不可微分的外部黑盒替换为其可微分的估计器，通过此方法，可以在无需中间标签的情况下，训练一个神经网络，从而计算黑盒功能的输入，并且这种综合模型比完全可微分的模型泛化效果更好，并且相对于基于强化学习的方法学习效率更高。

    Jan, 2019

  • 概率二元神经网络

    本文提出使用二进制权重和激活的神经网络的概率训练方法 - BLRNet，通过随机性避免了对 sign () 等不可微函数的梯度的逼近，并仍在测试时获得完全的二进制神经网络。 此外，它允许通过从权重分布中进行抽样来进行任时集成预测以提高性能和不确定性估计。我们在多个标准基准上评估了 BLRNet。

    Sep, 2018

  • 训练二值化深度神经网络时规范激活分布

    本文提出使用分布损失来规范激活流，成功改善了二值神经网络训练中遇到的退化、饱和和梯度失配等问题，并在不影响其能量效率的同时，提高了其准确性。此外，该规范化方法还能使训练过程更加稳健。

    Apr, 2019