EdgeSpeechNets: 边缘高效的深度神经网络语音识别

Oct, 2018

EdgeSpeechNets: 边缘高效的深度神经网络语音识别

EdgeSpeechNets: Highly Efficient Deep Neural Networks for Speech Recognition on the Edge

Zhong Qiu Lin, Audrey G. Chung, Alexander Wong

TL;DR本文探讨一种人机协同设计策略，通过人驱动的设计原则网络设计原型和机器驱动的设计探索来构建语音识别的低存储深度神经网络体系结构，实验证明此设计策略可以构建出一系列高效率的 DNNs，用于有限词汇的语音识别，更高的精度与更小的网络体积以及更低的计算成本使它们非常适合设备上的语音接口应用。

Abstract

Despite showing state-of-the-art performance, deep learning for speech recognition remains challenging to deploy in on-device edge scenarios such as mobile and other consumer devices. Recently, there have been greater efforts in the design of small, low-footprint deep neural networks (

deep learning speech recognition low-footprint dnns network design limited-vocabulary

发现论文，激发创造

优化边缘语音识别

本文研究边缘设备上的语音识别问题，通过使用端到端的神经结构，并应用更有效的神经网络拓扑和优化技术，成功构建了一个高精度的，在边缘设备上运行的小型语音识别系统。

Sep, 2019

具有高速公路连接的小型深度神经网络用于语音识别

本研究探讨了将高速公路网络应用于训练小型印记的深度神经网络，结果发现其在语音识别领域的性能超过了常规的深度神经网络，同时也显著减小了模型的参数数量。

Dec, 2015

密集连接卷积网络用于语音识别

本文介绍了我们在使用 DenseNets 进行声学建模（AM）自动语音识别方面的最新研究，实验结果表明，DenseNet 能够显著地优于其他神经网络模型，如 DNNs、CNNs、VGGs, 甚至在使用只有一半训练数据的情况下表现也很好。

Aug, 2018

深度言语：扩大端到端语音识别

使用端到端深度学习开发的演讲识别系统：不需要手工设计组件来模拟背景噪声、混响或者发言人差异，取而代之的是直接学习一个对这些影响具有鲁棒性的函数的方法，其关键是优化的 RNN 训练系统以及一组新的数据综合技术，该系统在 Switchboard Hub5'00 测试集上取得了 16.0% 的错误率，优于以前的成果，并且与广泛使用的最先进的商业演讲系统相比，Deep Speech 处理具有挑战性的嘈杂环境的能力更加出色。

Dec, 2014

边缘设备上实现深度学习

本论文探讨了 DNN 在资源受限的边缘设备上部署的优化问题，并研究了四种边缘智能场景下的深度学习方法，通过减少 DNN 冗余度来达到资源消耗与模型准确度之间的平衡。

Oct, 2022

边缘智能：设备 - 边缘协同，按需深度学习模型协同推理

提出了 Edgent，这是一种协作和按需的 DNN 合作推理框架，其旨在通过在设备和边缘之间自适应地分配 DNN 计算来提高实时 DNN 推理的性能，并通过在适当的中间 DNN 层进行早期退出来加速 DNN 推理。

Jun, 2018

语音和视觉系统中深度神经网络调查

该论文对视觉和语言领域中深度神经网络的最新架构、算法和系统进行了综述，并总结了在硬件限制平台上运行深度神经网络的主要挑战和最新进展，探讨了情感计算、智能交通和精准医学等领域中的新兴应用。

Aug, 2019

基于神经结构学习的设备端语音情感识别知识迁移

提出了一种基于神经结构化学习的轻量化模型训练框架，能够在边缘设备上有效地实现语音情感识别，提高模型性能，并降低模型大小。

Oct, 2022

小语音：基于注意力压缩的边缘设备深度语音识别神经网络

通过 attention condensers，本研究提出了 TinySpeech，这是一种低占用空间、高效率的深度神经网络结构，适用于边缘设备的本地语音识别，其神经网络结构简单，参数数量、计算时间、内存消耗都极少。

Aug, 2020

深度神经网络中的特征学习 —— 基于语音识别任务的研究

本文研究表明，深度神经网络在语音识别任务中比浅层网络和高斯混合模型表现得更好，这是因为它们具有提取具有鲁棒性的区分性内部表示的能力。此外，我们表明 DNN 不能推广到与训练样本差异显著的测试样本，但是，如果训练数据足够代表性，DNN 的内部特征相对于说话人差异、带宽差异和环境失真是相对稳定的。这种稳定性使得基于 DNN 的识别器在不需要显式模型适应或特征归一化的情况下表现得和基于 GMMs 或浅层网络的现有系统一样好甚至更好。

Jan, 2013