本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法，通过改进梯度下降算法中的反向传播计算，在ImageNet数据集上比传统二进制神经网络和XNOR-net有更好的性能表现。

Dec, 2018

本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构BinaryDenseNet，并在ImageNet数据集上获得18.6%和7.6%的精度改进。

Jun, 2019

通过采用自适应梯度剪切、比例重量标准化和专门的瓶颈块等技术，本研究将BN-Free训练的框架扩展到二进制神经网络训练，并首次证明可以完全从BNN的训练和推断中去除BN层，而不会丧失性能。

Apr, 2021

本文介绍了一种名为 DIR-Net 的神经网络二值化方法，通过改进内部传播和引入外部表示来保留神经网络信息；采用信息最大化二值化（IMB）、分布敏感二段估计器（DTE）和表示对齐二值化感知蒸馏（RBD）等三项技术，该方法在ResNet、VGG、EfficientNet、DARTS 和 MobileNet等主流紧凑体系结构下实验表现优异，可在实际资源受限设备上实现存储节省和加速优化。

Sep, 2021

本文全面评述了二值神经网络（BNN）的发展历程，从祖先算法到最新算法/技术，提出了一种广泛的设计流程，并讨论了每个模块的变体。此外，还介绍了BNN的应用，以及其潜在的发展方向和未来研究机会。

Oct, 2021

介绍了一种基于子位二值化的神经网络设计，通过针对二值卷积核子集训练，使用随机采样和优化步骤来调整这些子集，从而压缩和加速二值神经网络的模型。实验证明，该方法在图像识别基准和FPGA硬件部署上具有巨大潜力，可以在适度降低识别准确度的情况下实现运行时间加快和模型压缩。

Oct, 2021

本文介绍了一种新颖的混合神经网络结构，Hybrid Binary Neural Network（HyBNN），其由一个任务无关的、通用的、全精度变分自动编码器和一个任务特定的二进制神经网络组成，它能够通过使用全精度变分自动编码器作为特征提取器大大限制输入二元化引起的准确性损失，结合深度神经网络的最先进的准确性以及二进制神经网络的更快的训练时间、更快的测试时间推理和更高的功率效率。我们展示了我们提出的系统能够明显优于常规的二进制神经网络。此外,我们还介绍了FedHyBNN，这是HyBNN的高度通信效率的联邦学习版本，并证明它能够达到与其非联邦版本相同的准确性。

May, 2022

通过引入剪裁块，减少二元神经网络层的数据宽度和内部累加器大小，同时优化批标准化层的实现和ARM指令集的二值化卷积，提高了推理速度和准确度。

Apr, 2023

二进制神经网络使用1位量化的权重和激活来减少模型的存储需求和计算负担。本文提出了A&B BNN，在传统的BNN中直接移除了一部分乘法运算并用相等数量的位运算代替其余部分，引入了掩码层和基于无正则化网络架构的量化RPReLU结构。掩码层可以通过数学变换避免相关的乘法运算。量化RPReLU结构通过限制其斜率为2的整数幂，实现更高效的位运算。实验结果在CIFAR-10、CIFAR-100和ImageNet数据集上分别达到92.30%、69.35%和66.89%，与最先进方法相当。消融实验验证了量化RPReLU结构的有效性，与使用固定斜率RLeakyReLU相比，在ImageNet上提升了1.14%。提出的仅添加位操作的BNN为硬件友好型网络架构提供了创新的方法。

Mar, 2024

本研究解决了深度学习加速中比特级稀疏性实践性和效率不足的问题。通过提出双向比特稀疏性（BBS）算法和高效的比特串行硬件加速器，显著提高了负载平衡和稀疏性。研究发现，该方法能够在减少模型尺寸的同时，保持较低的准确性损失，并显著提升计算速度和能效。

Sep, 2024