本研究提出了 BiFSMN，一种精度高、效率极高的二进制神经网络，它包括了针对一些关键信息的深度蒸馏机制、一种优化的二进制化训练方法、可以自适应提高通用性和效率的纤薄化结构和一个在 ARMv8 设备上的快速位运算核心，实现了在各种数据集上完备性和效率上的优化。 BiFSMN 可以在实际硬件中获得惊人的 22.3 倍加速和 15.5 倍存储空间节省。

Feb, 2022

基于稀疏输入表示的关键词检测模型在效率上比之前的最先进边缘设备兼容模型快四倍，且具有更好的准确性，同时在嘈杂环境中更加稳定。

Jun, 2024

本文提出了一种在低成本微控制器单元上实现关键词识别的能量高效方法，其中包括使用模拟 - 二进制前端和二进制神经网络实现数字预处理的替换，将数据采集和预处理所需的能量减少了 29 倍，同时在 Speech Commands 数据集上提供 1% 的精度提高和 4.3 倍的能量效率提高，并提供 2% 的精度下降以实现 71 倍的能量削减。

Jan, 2022

本文介绍了一种使用对比学习和最大化互信息的方法来使用二进制神经网络实现更好的分类和分割结果，以减少因为二值化操作而导致的信息丢失。

Jul, 2022

本文介绍了改进的前馈顺序记忆网络 DFSMN 结构，通过在相邻层的记忆块之间引入跳过连接以启用跨不同层的信息流，并消除了建立非常深层结构时的梯度消失问题。在多个大型语音识别任务中，DFSMN 的性能优于 BLSTM，尤其是使用 CD-Phone 作为建模单元和较低帧率（LFR）进行训练时，DFSMN 的改进更为显著。此外，DFSMN 的记忆块的前瞻滤波器可以轻松地设计，以控制实时应用的延迟。

Mar, 2018

本论文探讨了将二值化技术应用于图神经网络的方法，并成功设计了能够在 Hamming 空间内快速构建动态图的模型，实现了在准确性轻微损失的代价下在嵌入式设备上取得了显著的存储空间和时间扩展的效果。

Dec, 2020

本篇论文提出一系列工程技术来改善二值化神经网络的准确性，包括更合适的激活函数、反向初始化、渐进式量化、网络叠加等，并在人体姿态估计和 ImageNet 大规模图像识别任务中验证了其优越性。此外，还首次探讨了二值化神经网络和知识蒸馏相结合的效果。

Apr, 2019

通过提出一种基于二进制值的神经网络训练方法 (BNN)，实现了通过基本的比特逻辑实现神经网络的前向传递。在资源受限的环境中，BNN 可以取代浮点数运算，减少存储空间占用、内存带宽、以及硬件能耗。同时，我们提出了权重压缩和噪声反向传播等训练技术，生成功能基本与实数网络相当的 BNN。通过在 MNIST 数据集上进行实验，我们证明了 BNN 表现出竞争性的性能并节省大量计算资源。

Jan, 2016

本研究提出了针对视觉 Transformers 的二值化方法，其中包括了对 softmax attention 的优化，采用 Cross-layer Binarization 和引入可学习的通道缩放因子等技巧，最终实现了在 TinyImageNet 和 ImageNet 中超越现有技术并取得最佳效果。

Nov, 2022

本文研究了一比特卷积神经网络，通过使用 Bi-Real net 和新颖的训练算法来提高其表现能力和训练困难性，并在 ImageNet 上获得了 56.4％的 top-1 分类准确性，比现有技术提高了 10％以上。

Nov, 2018