本文介绍了一种强大而高效的二进制神经网络 BiFSMNv2，用于边缘端的关键词识别应用中。使用双尺度可调节的 1 位体系结构，独立分离高低频组分以缓解精度和二进制之间的信息不匹配，并提出了学习传播二元化算子，用于二进制网络的前向和后向传播的连续完善。与现有二进制网络相比，BiFSMNv2 在不同数据集上的性能优异，边缘硬件上具有高达 25.1 倍的加速和 20.2 倍的存储节省。

Nov, 2022

基于稀疏输入表示的关键词检测模型在效率上比之前的最先进边缘设备兼容模型快四倍，且具有更好的准确性，同时在嘈杂环境中更加稳定。

Jun, 2024

本文介绍了改进的前馈顺序记忆网络 DFSMN 结构，通过在相邻层的记忆块之间引入跳过连接以启用跨不同层的信息流，并消除了建立非常深层结构时的梯度消失问题。在多个大型语音识别任务中，DFSMN 的性能优于 BLSTM，尤其是使用 CD-Phone 作为建模单元和较低帧率（LFR）进行训练时，DFSMN 的改进更为显著。此外，DFSMN 的记忆块的前瞻滤波器可以轻松地设计，以控制实时应用的延迟。

Mar, 2018

本文提出了一种在低成本微控制器单元上实现关键词识别的能量高效方法，其中包括使用模拟 - 二进制前端和二进制神经网络实现数字预处理的替换，将数据采集和预处理所需的能量减少了 29 倍，同时在 Speech Commands 数据集上提供 1% 的精度提高和 4.3 倍的能量效率提高，并提供 2% 的精度下降以实现 71 倍的能量削减。

Jan, 2022

本文介绍了一种使用对比学习和最大化互信息的方法来使用二进制神经网络实现更好的分类和分割结果，以减少因为二值化操作而导致的信息丢失。

Jul, 2022

本论文探讨了将二值化技术应用于图神经网络的方法，并成功设计了能够在 Hamming 空间内快速构建动态图的模型，实现了在准确性轻微损失的代价下在嵌入式设备上取得了显著的存储空间和时间扩展的效果。

Dec, 2020

通过提出一种基于二进制值的神经网络训练方法 (BNN)，实现了通过基本的比特逻辑实现神经网络的前向传递。在资源受限的环境中，BNN 可以取代浮点数运算，减少存储空间占用、内存带宽、以及硬件能耗。同时，我们提出了权重压缩和噪声反向传播等训练技术，生成功能基本与实数网络相当的 BNN。通过在 MNIST 数据集上进行实验，我们证明了 BNN 表现出竞争性的性能并节省大量计算资源。

Jan, 2016

该论文研究了如何在 BNN 网络中使用 padding 提高分类准确率的同时，仍然保持 1 位数据通路。作者展示了该方法的灵活性和可扩展性，并在 ADM-PCIE-8K5 平台上实现了大型 BNN 分类的快速和精确。

Jan, 2017

本文介绍 FINN，一种用于构建快速、灵活的 FPGA 加速器的框架，该框架使用灵活的异构流式架构，并利用一组优化，将二值化神经网络映射到硬件上，从而实现完全连接、卷积和池化层，同时满足用户提供的吞吐量要求。在低于 25W 的总系统功率下，该平台在 MNIST 数据集上表现出高达 1230 万次图像分类每秒，0.31 微秒的延迟和 95.8％的准确率，在 CIFAR-10 和 SVHN 数据集上表现出 21906 次和 283 微秒的延迟、80.1％和 94.9％的准确率，这是目前这些基准测试中报道的最快的分类率。

Dec, 2016

这篇论文介绍了一种基于时间稀疏性的细粒度关键词检测技术，它利用输入帧的特征向量和网络隐藏状态之间的时间相似性，消除了不必要的操作和内存访问。该技术采用了生物启发式的 Delta 门控循环神经网络（ΔRNN）分类器，在 Google 语音指令数据集（GSCD）上实现了 90.5% 的检测准确率和 36nJ / 决策的能量消耗。在 87% 的时间稀疏率下，推理的计算延迟和能量消耗分别减少了 2.4 倍和 3.4 倍。该设计占据了 0.78mm² 的面积，还包括两个附加模块，其中一个是 0.084mm² 的紧凑型基于无限脉冲响应（IIR）的带通滤波器（BPF）音频特征提取器（FEx），另一个是 24kB、0.6V 的近阈值权重 SRAM，其读取功耗比标准 SRAM 低 6.6 倍。

May, 2024