通过提出一种基于二进制值的神经网络训练方法 (BNN)，实现了通过基本的比特逻辑实现神经网络的前向传递。在资源受限的环境中，BNN 可以取代浮点数运算，减少存储空间占用、内存带宽、以及硬件能耗。同时，我们提出了权重压缩和噪声反向传播等训练技术，生成功能基本与实数网络相当的 BNN。通过在 MNIST 数据集上进行实验，我们证明了 BNN 表现出竞争性的性能并节省大量计算资源。

Jan, 2016

介绍了一种学习表示神经网络权重的个别位的算法，允许对任意位深度的整数值进行训练，无需额外的约束或正则化技术，自然地发现了稀疏网络。证明了在选择性地训练位的情况下，实现高准确度的最大贡献来自前三位最重要的位，而其余位则提供内在的正则化。因此，可以使用超过 90％的网络存储任意代码，例如随机噪声，二进制文件或甚至先前训练的网络的权重。

Feb, 2022

本文提出了一种二元随机学习算法，通过引入随机二元化，有符号二元化和分步权重更新，修改了所有基础神经网络操作，不需要高精度的处理，可以在硬件中实现，提高了神经网络系统的能效，并较高精度学习算法更有效。

Apr, 2023

对二元神经网络进行了广泛的实验以了解其表示能力、速度及偏差 / 方差。提出了一种二元集成神经网络，通过集成方法来提高二元神经网络的性能，从而更快、更鲁棒，甚至能够超越具有相同结构的完全精确的浮点数网络的准确性。

Jun, 2018

提出了基于随机计算的 Binarized Neural Networks，其输入也进行了二值化，仿真实验表明这样的网络在 Fashion-MNIST 和 CIFAR-10 数据集上可以接近常规的 Binarized Neural Networks 的性能，同时适应了硬件限制的 Binarized Neural Networks 可以在面积和能耗上节省大量资源。

Jun, 2019

该研究报告介绍了一种能够在资源受限制的嵌入式硬件上快速高效地部署训练完毕的深度神经网络的方法，即使用单个比特来表示和存储每个学习到的权重参数，通过在训练中为每个层应用等于层特定标准差的恒定未学习值的缩放因子来简化现有方法并提高误差率，并通过不学习批归一化缩放和偏移参数来改善网络性能。

Feb, 2018

研究二值化训练和量化方法在神经网络训练中的应用，通过在 MNIST、CIFAR10、SVHN 三个数据集上的实验证明，这种方法不仅不会降低分类性能，反而可以实现比标准随机梯度下降训练更好的性能

Oct, 2015

使用布尔逻辑最小化方法训练深度神经网络可以有效降低计算和存储复杂度，并实现高能效。

Jul, 2018

本文研究了一比特卷积神经网络，通过使用 Bi-Real net 和新颖的训练算法来提高其表现能力和训练困难性，并在 ImageNet 上获得了 56.4％的 top-1 分类准确性，比现有技术提高了 10％以上。

Nov, 2018

本文提出了三种实用方法来优化低精度深度卷积神经网络，包括渐进式量化、随机量化以及联合知识蒸馏来提高网络训练。通过实验证明，该方法在各种数据集上表现良好。

Aug, 2019