关键词检测的小型可压缩网络

Apr, 2023

Small-footprint slimmable networks for keyword spotting

Zuhaib Akhtar, Mohammad Omar Khursheed, Dongsu Du, Yuzong Liu

TL;DR本文介绍了应用于小尺寸关键词检测问题的可调整神经网络。我们展示了可调整神经网络如何允许我们从卷积神经网络和 Transformer 创建超网络，从中可以提取不同尺寸的子网络。我们在本文中展示了这些模型的实用性，并重点关注设备上的用例，将自己限制在不到 250k 参数的范围内。我们展示了可调整模型可以匹配（甚至在某些情况下超过）从头开始训练的模型。因此，可调整神经网络是一类在不同的存储和计算预算以及不同的精度要求下复制相同功能特别有用的模型。

Abstract

In this work, we present slimmable neural networks applied to the problem of small-footprint keyword spotting. We show that slimmable neural netw

slimmable neural networks keyword spotting convolutioanl neural networks transformers on-device use case

发现论文，激发创造

可压缩神经网络

本文介绍了一种简单通用的方法去训练单个神经网络的可执行不同宽度（即层中通道的数量），从而允许在运行时进行即时和自适应的准确性和效率权衡。基于共享网络的可切换批量归一化，可以在不同的宽度配置下进行训练，并可根据实时运行结果和资源限制在多个应用领域中实现类似甚至更好的准确性和效率表现。

Dec, 2018

通用可变宽度网络和改进的训练技术

该论文提出了一种名为 “通用可变宽度神经网络” 的系统方法，将可变宽度神经网络扩展到任意宽度，提出了两种改进的训练技术，能够提高训练过程和测试准确性；作者在 ImageNet 分类任务、图像超分辨率和深度强化学习任务上评估了其方法，证明其有效性，同时打开了直接评估网络结构 FLOPs-Accuracy 谱的可能性。

Mar, 2019

通过网络削减学习高效卷积网络

本文提出了一种名为 “网络瘦身” 的新颖学习方案，可以通过引入通道级稀疏性，简化深度卷积神经网络，降低了其计算成本，减小了运行时内存占用，同时不影响准确度。我们进行了多组实验，证明了该方案在各种图像分类数据集上具有较好的效果。

Aug, 2017

小型关键词检测的深度残差学习

本研究采用深度残差学习和扩张卷积探索了关键词检测任务的应用，使用 Google Speech Commands 数据集作为基准。我们的最佳残差网络实现在准确性方面明显优于 Google 以前的卷积神经网络。通編变化模型深度和宽度，我们可以实现比以前的小型脚本变体更优秀的紧凑型模型。据我们所知，我们是第一个研究这些方法的关键词检测任务的人，我们的结果建立了一个开源的最新参考来支持未来基于语音的接口的开发。

Oct, 2017

Slim-CNN: 一种轻量级的用于人脸属性预测的 CNN

本文介绍了一种计算效率高的卷积神经网络微体系结构 Slim Module，用于设计轻量级深度神经网络 Slim-Net，以进行脸部属性预测，该模型通过将深度可分离卷积和逐点卷积组装为一个计算效率高的模块，通过堆叠这些 Slim 模块构建紧凑的 CNN 模型，并在 CelebA 数据集上进行了实验，结果表明 Slim-Net 比性能相当的方法少 25 倍的参数，且准确率高达 91.24%，减少了 87% 的内存存储需求。

Jul, 2019

动态可裁剪网络

本文提出了一种名为 DS-Net 的动态可整合网络概念，它通过在测试时动态调整网络的卷积滤波器数量，从而实现好的硬件效率。同时，DS-Net 通过一种双头动态门的机制，具有动态推理的能力，并使用一种两阶段训练方案进行训练。实验结果表明，DS-Net 在 ImageNet 数据集上与 ResNet-50 和 MobileNet 模型相比，具有更高的计算性能和实际加速性能。

Mar, 2021

Joslim: 用于可变宽度神经网络的联合宽度和权重优化

提出了一种通用框架来在宽度配置和权重优化方面实现可配宽度网络的联合优化，并引入了一种名为 Joslim 的算法，该算法在各种网络、数据集和目标优化中均优于现有方法，最大化提高了各种配置下的效率和准确率。

Jul, 2020

基于神经网络的关键词检测架构搜索

本文利用神经架构搜索来搜索卷积神经网络模型，以提高基于音频信号的关键词识别性能，同时保持合理的内存占用。通过不同 iable Architecture Search 技术搜索预定义细胞空间中的操作符和它们之间的连接，然后在深度和宽度上扩展发现的单元来实现具有竞争力的性能，最终在 Google 的语音命令数据集上实现 97% 的最新准确性。

Sep, 2020

具有高速公路连接的小型深度神经网络用于语音识别

本研究探讨了将高速公路网络应用于训练小型印记的深度神经网络，结果发现其在语音识别领域的性能超过了常规的深度神经网络，同时也显著减小了模型的参数数量。

Dec, 2015

SlimSeg：带边界监督的可变宽度语义分割

本文提出了一种简单而有效的可调节语义分割方法（SlimSeg），该方法可以根据所期望的准确度和效率平衡在不同容量下进行推理，并通过阶梯式向下蒸馏的参数化通道精简来进行训练，并引入了边界引导的语义分割损失来改进每个子模型的性能，在 Cityscapes 和 CamVid 等语义分割基准测试中展示了我们提出的 SlimSeg 在各种主流网络上的灵活性能和比独立模型更好的性能。

Jul, 2022