Aug, 2018

一种用于语音指令识别的神经注意力模型

PDF
TL;DR本文介绍了一个使用卷积循环神经网络与注意力机制的语音指令识别模型，其创造了 94.1%（V1）和 94.5%（V2）的分类准确率，是同类模型中的新记录，并且该模型仅有 202K 个可以训练的参数，同时其提出的注意力机制不仅提高了性能，还允许可视化网络处理输入音频时所参考的区域。
convolutional recurrent networkattention modelspeech command recognitionstate-of-the-art accuracyaudio analysis
发现论文，激发创造
  • 基于注意力机制的语音识别模型

    本研究提出了一种基于改进的注意力机制加上位置感知的模型，解决了长输入音频识别中的问题并且有效降低了音素错误率。

    Jun, 2015

  • 用于语音和文本数据的多模态情感识别的卷积注意力网络

    本文提出了一种使用卷积注意网络学习语音和文本数据之间隐藏表示的新方法，较之之前的表现更好，能更好地识别出 CMU-MOSEI 数据集中包含的来自语音和文本数据的情感。

    May, 2018

  • 倾听世界，提高语音命令识别

    研究卷积神经网络中的迁移学习在语音识别方面的应用，发现将来自不同任务的表示转移至声音专注的任务可以显著提高准确性。通过验证在音频数据集上使用更深层网络可以获得更好准确性的结果，提出一个使用扩张卷积的简单多尺度输入表示方法，以及通过将迁移学习和多尺度输入表示相结合来实现仅需要训练数据的 40% 即可获得相似准确性的模型。最后还提出多尺度输入和迁移学习的积极互动效应，表明两种技术的联合应用是有益的。

    Oct, 2017

  • 关键字检测 -- 基于深度学习的口语指令识别

    探索使用语音识别机器学习和深度学习技术进行关键词识别的重要任务，并实现了将原始波形转换为 Mel 频率倒谱系数作为模型输入的特征工程。通过尝试使用多种算法，包括混合高斯隐马尔科夫模型、卷积神经网络以及变种的循环神经网络，如长短时记忆和注意力机制，我们的实验表明带有双向长短时记忆和注意力机制的循环神经网络可以达到 93.9％的准确率。

    Dec, 2023

  • 场景文本识别的视觉注意力模型

    本文提出了一种无词典的场景图像文本识别方法，该方法基于一种基于 LSTM 的软视觉注意模型，该模型从卷积特征中学习。通过导出与图像不同区域对应的中间卷积层的一组特征向量，实现了对空间信息的编码，从而使框架能够学习如何选择性地聚焦于图像的不同部分。除此之外，我们还展示了通过将显式语言模型集成到束搜索算法中来修改改良的束搜索算法可以导致更好的识别结果，以标准的 SVT 和 ICDAR'03 场景文本数据集为基础，证明了我们方法在无约束文本识别中的卓越表现。

    Jun, 2017

  • 使用多流自注意力和扩张一维卷积的最先进语音识别技术

    提出了一种新的神经网络模型体系结构 Multi-Stream Self-Attention，通过进一步处理高度相关的语音传输帧来提高自我关注在语音识别中的效果，并在 LibriSpeech 语料库的测试干净数据集上实现了 2.2％的单词错误率，是迄今为止报告的最佳数字。

    Oct, 2019

  • 全卷积语音识别

    本文提出了一种基于卷积神经网络的语音识别方法，相对于传统的基于循环神经网络的模型使用更少的特征提取步骤，并在多项测试中取得了当下最佳的表现。

    Dec, 2018

  • 使用注意力卷积序列建模技术识别场景文本

    本文提出了基于注意力卷积网络的端到端场景文本识别方法，通过卷积神经网络 (CNN) 代替循环神经网络 (RNN) 来实现输入序列的上下文依赖关系的准确捕捉，提高了识别效率，并结合残余注意力模块进一步提高特征识别的准确性。该方法在多个数据集上验证结果显示了显著的性能优势。

    Sep, 2017

  • 多麦克风距离语音识别中的听觉关注循环模型

    本文提出了一种神经注意力网络来直接合并多通道音频以生成语音状态，无需任何关于麦克风布置的先前知识或任何用于语音增强的显式信号预处理。

    Nov, 2015

  • 基于深度卷积循环模型的注意力和定位方法，用于弱监督音频标记

    此研究提供了一种深度卷积循环模型，结合注意力机制和时间定位模块，进行弱监督的音频标记，以及在 DCASE 2016 挑战中达到了良好的性能。

    Mar, 2017