Nov, 2022

LiCo-Net: 基于线性化卷积的硬件高效关键词检测网络

PDF
TL;DR本文提出了一种硬件有效的架构，Linearized Convolution Network（LiCo-Net），专门为微控制器等节能处理器单元进行关键字识别。在推理阶段使用高效的 int8 线性运算符，在训练阶段应用流式卷积以保持模型容量高，实验结果表明，LiCo-Net 在硬件效率方面优于单值分解滤波器（SVDF），检测性能相当。与 SVDF 相比，LiCo-Net 在 HiFi4 DSP 上减少了 40％的周期。
linearized convolution networkkeyword spottinglow-power processorint8 operatorsstreaming convolutions
发现论文，激发创造
  • 基于查找的卷积神经网络（LCNN）

    本研究提出了一种快速、紧凑且准确的卷积神经网络模型 LCNN，能够在资源受限的平台上实现高效的学习和推断，在 ImageNet 数据集上取得了较好的速度和精度表现，并展示了其在深度学习模型的设备端训练中的优势。

    Nov, 2016

  • PP-LCNet: 一种轻量级的 CPU 卷积神经网络

    本文介绍了一种基于 MKLDNN 加速策略的轻量级 CPU 网络 PP-LCNet，这种网络在多项任务上得到了改进。通过技术上的提升，PP-LCNet 在分类任务中的准确性大大优于之前的网络结构，并在计算机视觉的下游任务中表现出色。该研究使用的所有实验都是基于 PaddlePaddle 实现的，并提供相应的代码和预训练模型。

    Sep, 2021

  • 基于神经网络的关键词检测架构搜索

    本文利用神经架构搜索来搜索卷积神经网络模型，以提高基于音频信号的关键词识别性能，同时保持合理的内存占用。通过不同 iable Architecture Search 技术搜索预定义细胞空间中的操作符和它们之间的连接，然后在深度和宽度上扩展发现的单元来实现具有竞争力的性能，最终在 Google 的语音命令数据集上实现 97% 的最新准确性。

    Sep, 2020

  • 神经形态硬件上关键词检测效率的基准测试

    使用英特尔的 Loihi 神经形态研究芯片和 ABR 的 Nengo 深度学习工具包，对训练识别单个短语的两层神经网络关键词检测器进行推理速度、动态功耗和每次推理的能量成本的分析。与运行在其他硬件设备上的关键词检测器进行比较分析，包括 CPU、GPU、Nvidia 的 Jetson TX1 和 Movidius 神经计算棒。我们的结论表明，在这种推理应用中，Loihi 比所有这些替代品在每次推理的能量成本方面表现更好，同时保持相同的推理精度。此外，对网络大小、推理速度和能量成本之间的权衡分析表明，Loihi 相对其他低功耗计算设备的竞争优势在更大的网络中得到了提高。

    Dec, 2018

  • 低功耗边缘微控制器上的关键词识别系统及修剪和量化方法的评估

    本文介绍了一种在微控制器上运行的小型模型，可用于边缘计算中的关键词检测，该模型采用卷积神经网络进行训练并针对微控制器限制中的深度学习和低延迟要求进行了简化，还评估了在微控制器上不同的修剪和量化方法对系统性能的影响。

    Aug, 2022

  • Condensation-Net: 交叉通道池化层和虚拟特征图的内存高效网络结构

    本文介绍了如何通过交叉通道池化技术减少轻量级卷积神经网络的计算复杂度，提高对象检测的准确性，并采用 Condensation-Net 算法，实现在有限的硬件资源平台上的图像识别任务。

    Apr, 2021

  • LoCoCo：为了长上下文压缩而引入的卷积操作

    本文介绍了一种用于大型语言模型中处理长上下文序列的新方法，名为 Dropping In Convolutions for Long Context Compression（LoCoCo）。LoCoCo 通过使用一个固定大小的键 - 值（KV）缓存来提高推理和微调阶段的效率，通过自适应融合技术将先前的 KV 对与输入的标记混合，以最小化上下文信息的损失并确保准确的注意力建模。通过动态计算每个 KV 缓存槽的混合权重来实现标记的整合。相比于相同缓存大小的基准模型，LoCoCo 在推理期间成功地将多达 3482 个标记压缩到 128 大小的 KV 缓存中，并保持了与完整序列相当的性能提升了 0.2791 个单位的准确率。在后训练调优过程中，我们还使用大小为 512 的 KV 缓存有效地将上下文长度从 4K 扩展到 32K，达到了与整个序列进行微调相似的性能。

    Jun, 2024

  • 使用 Sinc 卷积在原始音频数据上进行小型关键词检测

    本论文提出了一种新的端到端体系结构，并使用参数化 Sinc 卷积直接从原始音频中提取谱特征，实现了关键词的实时分类，其准确度高达 96.4%，序数为 62k。

    Nov, 2019

  • 深度神经网络的完全动态推断

    提出了一种全动态模型的方法，称为 LC-Net，旨在最大化深度卷积神经网络的计算效率和任务准确性，通过以层和卷积滤波通道为单位的层次推理动力学，能够预测冗余层和卷积滤波器 / 通道并学习保留计算结果以实现最大化任务准确性。

    Jul, 2020

  • 更复杂的网络，更少的推理复杂度

    这篇论文提出了一种新的卷积神经网络结构，通过添加低成本协作层加速了推理过程，实验结果表明，平均加速率为 32％，性能下降极小。

    Mar, 2017