使用基于字符级递归神经网络实现的在线关键词检测

Dec, 2015

使用基于字符级递归神经网络实现的在线关键词检测

Online Keyword Spotting with a Character-Level Recurrent Neural Network

Kyuyeon Hwang, Minjae Lee, Wonyong Sung

TL;DR本文提出了一种基于字符级递归神经网络（RNN）的上下文感知关键词检测模型，用于连续语音中的口语项检测，通过端到端训练生成字符和单词边界标签的概率。该模型无需音标转录、Senone 建模或系统词典，可以通过编辑基于文本的关键词列表轻松添加和修改关键词，而无需重新训练 RNN。此外，单向 RNN 处理无限长度的输入音频流，无需预分段，在话语结束前就可以低延迟地检测到关键词。实验结果表明，所提出的关键词探测器比基于深度神经网络（DNN）和隐马尔可夫模型（HMM）的关键词填充器模型具有更好的性能，即使计算量更少。

Abstract

In this paper, we propose a context-aware keyword spotting model employing a character-level recurrent neural network (RNN) for spoken term detection in continuous speech. The RNN is end-to-end trained with conne

keyword spotting recurrent neural networks connectionist temporal classification continuous speech low-latency

发现论文，激发创造

基于循环神经网络的逐字递增语音识别

本文提出了一种基于 RNN 的字符级增量语音识别系统，使用 CTC 进行端到端训练，在短时间内响应语音输入，通过基于树的在线 Beam Search 算法实现字级别的识别，该系统不仅能够响应不断输入的语音，还能根据发音来发音对语音的字词进行识别。在训练数据集上，该模型将字错率降低至 8.90％。

Jan, 2016

关键字检测 -- 基于深度学习的口语指令识别

探索使用语音识别机器学习和深度学习技术进行关键词识别的重要任务，并实现了将原始波形转换为 Mel 频率倒谱系数作为模型输入的特征工程。通过尝试使用多种算法，包括混合高斯隐马尔科夫模型、卷积神经网络以及变种的循环神经网络，如长短时记忆和注意力机制，我们的实验表明带有双向长短时记忆和注意力机制的循环神经网络可以达到 93.9％的准确率。

Dec, 2023

基于深度卷积神经网络的端到端语音识别

本文提出将 CNN 与 CTC 相结合的端到端语音识别框架，以实现序列标记；在 TIMIT 音素识别任务中评估该方法并表明其在计算效率和性能上优于已有基线系统，并指出 CNN 具有利用适当上下文信息来建模时间相关性的能力。

Jan, 2017

深度循环神经网络语音识别

本文研究了将深度网络的多层表示与强大的 RNN 模型相结合的模型 - 深度递归神经网络，通过合适的正则化和端到端的训练方法，该模型在 TIMIT 语音识别基准测试中获得了最佳记录得分 17.7％。

Mar, 2013

快速准确的循环神经网络语音识别声学模型

该论文介绍利用深度 LSTM 循环神经网络、CD 电话建模、帧叠加与减少帧率等技术来提高语音识别准确率的研究，并探讨了直接输出单词的 LSTM RNN 模型的初步结果。

Jul, 2015

CTC 对齐的音频文本嵌入与流式开放词汇关键词检测

本文介绍了一种新颖的流式开放性词汇关键词定位方法，通过基于文本的关键词注册，在每个输入帧上使用连接主义时间分类（CTC）寻找以该帧结尾的最佳对齐，并聚合帧级声学嵌入（AE）以获得与目标关键词文本的文本嵌入（TE）对齐的更高级别（即字符、词或短语）的 AE，然后计算聚合 AE 与 TE 的相似度，取得了流媒体开放性词汇关键词定位的联合音频文本嵌入的最佳效果，尽管以流式方式操作，但我们的方法在 LibriPhrase 数据集上取得了竞争性的性能，仅使用了 155K 个模型参数和时间复杂度为 O (U) 的解码算法，其中 U 是推断时目标关键词的长度。

Jun, 2024

端到端注意力大词汇语音识别

该研究研究了一种更直接的方法，即使用循环神经网络来替换隐马尔可夫模型，从而在字符级别直接执行序列预测，通过内置的注意力机制自动学习输入特征与期望字符序列之间的对齐。

Aug, 2015

关键词检测简化：采用字符计数和 CTC 重新评分的无分割方法

最近的无分割关键词检测的研究寻求在对象检测范式中解决这一问题，并借鉴最先进的检测系统，同时提出了一个词边界框提议机制和计算相应表示。与依赖复杂和庞大的深度神经网络模型的方法相反，我们提出了一种新颖的无分割系统，通过自动学习的比例图在文档图像上高效地扫描以找到包含查询信息的矩形区域。该底层模型简单而紧凑，通过对字级别注释图像进行训练，预测矩形区域上的字符出现。通过积分图和二分搜索以经济高效的方式执行所提出的文档扫描。最后，通过金字塔表示和基于 CTC 的重新评分算法来完善字符计数的检索相似性，充分利用训练好的卷积神经网络模型。对两个广泛使用的数据集进行的实验证实表明，尽管底层模型简单，我们的方法实现了最先进的结果，超过了更复杂的替代方案。

Aug, 2023

基于循环神经网络的提及检测鲁棒性探究

本文研究了基于循环神经网络（RNN）的提及检测系统的鲁棒性及其在信息提取中的应用，表明在英语的普通或跨领域的情况下，RNNs 不仅在通用情况下优于之前报告的最佳系统（最多可达 9％的相对错误降低），而且在荷兰语中表现出的命名实体识别相似任务中，RNNs 比传统方法显著优越（最多可达 22％的相对错误降低）。

Feb, 2016

使用膨胀卷积和门控技术实现高效的关键字检测

本文探讨了利用端到端无状态时间建模来进行小尺寸关键词检测的应用，提出了一种新的模型，该模型受到了序列建模领域内扩张卷积的启发，通过增加门控激活和残差连接来训练更深层次的架构。实验结果表明，该模型优于使用 LSTM 单元的循环神经网络，具有更高的准确性和更低的虚警率。

Nov, 2018