本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构 BinaryDenseNet，并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。

Jun, 2019

本论文提出了一种基于分层深度强化学习的自动量化技术 AutoQ，可以自动搜索每个权重核的量化位宽，以及每个激活层的另一个量化位宽，并极大地提高了卷积神经网络的推断性能，同时保持了推断精度。

Feb, 2019

本研究试图从理论的角度解释神经网络的计算类型，通过将它们与自动机相关联，并使用定义 “实时网络有界精度接受语言” 的方法来解释网络内存度量，对可被各种循环网络、注意力和卷积网络接受的语言类别进行了表征。研究发现 LSTM 功能类似于计数器机，并将卷积网络与子正则层次结构相关联。这些理论洞察力有助于解释神经计算，以及神经网络与自然语言语法之间的关系。

Jun, 2019

提出了一种将连续学习和二进制神经网络结合起来的解决方案，同时在设备上进行训练并保持竞争性的性能，该方法利用二进制潜在重播激活和一种新的量化方案，显著减少了梯度计算所需的位数，实验证实了模型的准确性和对内存需求的明显减少，从而扩展了深度学习在实际场景中的应用。

Jan, 2024

该论文提出了 Bayesian quantized 网络（BQN），并引入了一系列有效算法，用于在离散参数上学习和预测，实现了对图像分类的有效完成。

Dec, 2019

介绍了一种基于子位二值化的神经网络设计，通过针对二值卷积核子集训练，使用随机采样和优化步骤来调整这些子集，从而压缩和加速二值神经网络的模型。实验证明，该方法在图像识别基准和 FPGA 硬件部署上具有巨大潜力，可以在适度降低识别准确度的情况下实现运行时间加快和模型压缩。

Oct, 2021

本文提出一种名为 AutoQNN 的端到端框架，通过引入量化方案搜索（QSS）、量化精度学习（QPL）和量化架构生成（QAG）三种技术，自动实现对不同深度神经网络（DNN）模型的不同层进行不同方案和不同精度的量化，无需人工干预，实现对深度神经网络的自动量化。实验表明，AutoQNN 相对于现有的量化算法在准确性和效率上都表现得更优秀。

Apr, 2023

本研究提出了一个通过利用端到端深度强化学习框架 (ReLeQ) 来自动化发现量化级别的方法，该方法可以在保持准确性的同时，将 DNN 的计算和存储成本最小化。通过对多个神经网络进行实验，结果表明，这种自动化方法最大限度地保留了准确性 (=<0.3% 的损失)，并使传统硬件的速度提高了 2.2 倍，同时，与 8 位运行相比，定制的 DNN 加速器的速度提高了 2.0 倍和节能。

Nov, 2018

本论文介绍了一种将 QNN 推理操作转换为整数推理操作的流程，以及一些基于比特串处理技术的方法，以常见的按位操作有效地部署 QNN。作者展示了 QNN 在移动 CPU 上的潜力，并提供了一个比特串矩阵乘法库。

Sep, 2017

现有的连续学习解决方案只在将深度学习模型部署在低功率嵌入式 CPU 上时部分地解决了功耗、内存和计算的限制。本文提出了一种连续学习解决方案，它结合了连续学习领域的最新进展和二值神经网络（BNN）的高效性，该网络使用 1 位用于权重和激活以高效执行深度学习模型。我们提出了一种混合量化的 CWR*（一种有效的连续学习方法），它在前向和反向传播时考虑了不同的因素，以保留在梯度更新步骤和最小化延迟开销时的更高精度。选择二值网络作为基础是满足低功率设备限制的关键，据作者所知，这是首次尝试证明使用 BNN 进行设备上学习的方法。进行的实验验证了所提方法的有效性和适用性。

Aug, 2023