本文提出了一种名为 LAB 的可学习二值化激励技术，替代二元特征映射中的 sign () 函数，其可以适用于各种已有的架构中，实验证明这种方法可以在不显著增加时间和复杂度的情况下，为四个二值神经网络模型带来明显性能提升，并在 ImageNet 数据集上实现了与最先进模型相同的性能。

Oct, 2022

本文介绍一种训练自我二值化神经网络的方法，通过使用平滑激活函数代替符号激活函数，减少二值化过程中的优化难度，同时还提出了一种简化二值批归一化的方法，实现了比传统浮点和二值网络更低的内存和计算消耗以及更高的分类准确率。

Feb, 2019

本文提出二值化神经网络模型的精度问题，并指出通过不平衡激活分布以及调整二值激活函数的阈值，可以在不改变其他结构的情况下提高二值神经网络模型的精度。

Dec, 2020

本文提出了一种名为 AdaBin 的自适应二值化方法，它通过使用符号函数难以准确地将全精度值二值化的事实，使得我们获得了一组自适应的最优二进制集合，进一步提高了二值特征的表示能力。实验结果表明，AdaBin 在大量基准模型和数据集上达到了 state-of-the-art 的性能。

Aug, 2022

本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法，通过改进梯度下降算法中的反向传播计算，在 ImageNet 数据集上比传统二进制神经网络和 XNOR-net 有更好的性能表现。

Dec, 2018

本文提出了一种改进二进制网络的方法，包括通过 RSign 和 RPReLU 实现激活分布变化的显式学习，以及采用分布损失进一步加强二进制网络的训练，通过这些方法，在不增加计算成本的情况下，将二进制网络精度提高到了比现有二进制网络更高的水平，并将其与实值网络的精度差距降至 3.0％以内。

Mar, 2020

研究二值化神经网络的运算和内存需求，提出通过训练网络的离散权重和激活，结合概率建模，实现更高效的离散激活网络推断，以降低运行时间和内存占用。

Jul, 2023

本文提出使用二进制权重和激活的神经网络的概率训练方法 - BLRNet，通过随机性避免了对 sign () 等不可微函数的梯度的逼近，并仍在测试时获得完全的二进制神经网络。 此外，它允许通过从权重分布中进行抽样来进行任时集成预测以提高性能和不确定性估计。我们在多个标准基准上评估了 BLRNet。

Sep, 2018

研究比较卷积神经网络和二值神经网络在识别交通标志上的表现，提出了一种从底层进行二值神经网络架构设计的方法，并且在测试集上取得了高于 80% 的准确率。

Mar, 2023

本文研究了具有阈值激活函数的神经网络的权重衰减正则化训练问题，发现在网络的最后一个隐藏层宽度超过一定阈值时，这些问题可以被等价地形式化为标准的凸优化问题，类似于 LASSO 方法，并且通过各种数字实验验证理论结果。

Mar, 2023