潜在权重不存在：重新思考二值化神经网络优化
本文提出了一种基于高阶梯度过滤的新解释，用于解释二进制神经网络中的大小基于超参数的影响，并为其优化设计新的过滤器。通过这种改进的理解，我们可以减少超参数的数量和调整的努力，从而提高二进制神经网络的准确性。
Mar, 2023
本文提出了一种用于训练 BNN 的优化器方法 Bop2ndOrder，使用双曲正切函数对二值化的权重进行优化，在超参数空间的完整消融研究及对比实验中，该方法在 CIFAR10 和 ImageNet 数据集中都能够更快地收敛并获得更好的准确性。
Apr, 2021
本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法，并在 Torch7 和 Theano 框架上进行了实验，在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时，作者提出了一种二进制矩阵乘法 GPU 核函数，使得 MNIST BNN 可以比优化前快 7 倍，而不影响分类准确性。
Feb, 2016
为了优化二值神经网络的学习过程，提出了一种从双线性的角度来优化二值神经网络的学习过程（Recorrent Bilinear Optimization），通过回溯稀疏的真实值权重过滤器，RBONNs 在各个模型和数据集上表现出了令人印象深刻的性能，尤其是在目标检测任务方面，表现出了更好的泛化性能。
Sep, 2022
本文提出使用二进制权重和激活的神经网络的概率训练方法 - BLRNet，通过随机性避免了对 sign () 等不可微函数的梯度的逼近，并仍在测试时获得完全的二进制神经网络。 此外，它允许通过从权重分布中进行抽样来进行任时集成预测以提高性能和不确定性估计。我们在多个标准基准上评估了 BLRNet。
Sep, 2018
本文介绍了一种对二值化神经网络进行训练的方法，并在 Torch7 和 Theano 两个框架下，对 MNIST、CIFAR-10 和 SVHN 数据集进行了实验，取得了近乎领先水平的结果。通过在前向传递过程中使用二值化的权重和激活值，可以大幅减少内存消耗，用位运算取代大多数算术运算，并且使用二进制矩阵乘法 GPU 内核可以比未优化的 GPU 内核快 7 倍，而不会损失分类准确度。
Feb, 2016
本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法，通过改进梯度下降算法中的反向传播计算，在 ImageNet 数据集上比传统二进制神经网络和 XNOR-net 有更好的性能表现。
Dec, 2018
本文提出了一种 Resilient Binary Neural Network（ReBNN）来减轻二进制神经网络的重量震荡问题，并通过引入加权重建损失来构建自适应训练目标，该方法在计算机视觉等多种网络模型上具有优异的表现。
Feb, 2023
本文提出了一种名为 AdaBin 的自适应二值化方法，它通过使用符号函数难以准确地将全精度值二值化的事实，使得我们获得了一组自适应的最优二进制集合，进一步提高了二值特征的表示能力。实验结果表明，AdaBin 在大量基准模型和数据集上达到了 state-of-the-art 的性能。
Aug, 2022