Jun, 2024

CTC 对齐的音频文本嵌入与流式开放词汇关键词检测

PDF
TL;DR本文介绍了一种新颖的流式开放性词汇关键词定位方法，通过基于文本的关键词注册，在每个输入帧上使用连接主义时间分类（CTC）寻找以该帧结尾的最佳对齐，并聚合帧级声学嵌入（AE）以获得与目标关键词文本的文本嵌入（TE）对齐的更高级别（即字符、词或短语）的 AE，然后计算聚合 AE 与 TE 的相似度，取得了流媒体开放性词汇关键词定位的联合音频文本嵌入的最佳效果，尽管以流式方式操作，但我们的方法在 LibriPhrase 数据集上取得了竞争性的性能，仅使用了 155K 个模型参数和时间复杂度为 O (U) 的解码算法，其中 U 是推断时目标关键词的长度。
streaming openvocabulary keyword spottingtext-based keyword enrollmentacoustic embeddingalignmentjoint audio-text embedding
发现论文，激发创造
  • 学习音频文本协同以实现开放式关键词定位

    本文提出一种新颖的端到端的用户定义关键词检测方法，利用语音和文本序列之间的语言对应模式，实现音频和文本表征在共同的隐含空间中；采用基于注意力的跨模态匹配方法，训练具有单调匹配损失和关键词分类损失的模型，并利用去噪损失改善模型在嘈杂环境中的稳健性，同时引入 LibriPhrase 数据集用于高效地训练关键词检测模型；与其他单模态和跨模态基线相比，在各种评估集上取得了有竞争力的结果。

    Jun, 2022

  • 基于音频文本的关键字定位的潜在编码匹配

    本文提出了一种基于语音 - 文本嵌入的端到端模型的架构，使用动态规划算法将音频序列与基于单词的文本序列相同长度地划分，并提出了 DSP 方法，实现了音频 - 文本的对齐，实验结果表明，该模型在 ROC 曲线下的面积和等误差率方面优于现有技术 14.4% 和 28.9%。

    Jun, 2023

  • 使用基于字符级递归神经网络实现的在线关键词检测

    本文提出了一种基于字符级递归神经网络（RNN）的上下文感知关键词检测模型，用于连续语音中的口语项检测，通过端到端训练生成字符和单词边界标签的概率。该模型无需音标转录、Senone 建模或系统词典，可以通过编辑基于文本的关键词列表轻松添加和修改关键词，而无需重新训练 RNN。此外，单向 RNN 处理无限长度的输入音频流，无需预分段，在话语结束前就可以低延迟地检测到关键词。实验结果表明，所提出的关键词探测器比基于深度神经网络（DNN）和隐马尔可夫模型（HMM）的关键词填充器模型具有更好的性能，即使计算量更少。

    Dec, 2015

  • 基于对比学习的多语言音频与歌词对齐

    本文介绍了一种新颖的歌词对齐系统，使用对抗学习导出跨模态嵌入，不仅训练简单、能使用弱标注数据、学习强大的文本模型，而且可用于多语言和获得了标准数据集下平均绝对误差小于 0.2 秒的最佳结果。

    Jun, 2023

  • 时间戳嵌入匹配声学到词汇 CTC 自动语音识别

    本文提出了一种新颖的嵌入匹配语音识别器，它直接产生了单词的起始时间和持续时间，并可以在测试时输出单词分割和单词混淆网络，同时相对于非时间戳系统，Word timestamps 可以使得系统获得类似于混合 DNN-HMM 系统的单词分割准确度和不到 3ms 的较小差异，我们提供了多重假设嵌入匹配 ASR 的更严格的分析。

    Jun, 2023

  • 基于同构音频文本嵌入的灵活关键词检测

    利用音频一致性文本编码器，通过转换文本到音素再到嵌入，检测任意关键词并辅以混淆关键词生成，实现具有强辨别力的音频 - 文本嵌入验证器。在实验中，该方案在 Libriphrase 难数据集上表现优于现有技术，AUC 指标从 84.21% 提升至 92.7%，EER 指标从 23.36% 降低至 14.4%。

    Aug, 2023

  • 低资源设备上的关键词检测中的在线连续学习通过高阶时序统计的池化

    嵌入式设备上的关键词检测模型需要快速适应新用户定义的词汇，同时不会遗忘之前的词汇。为此，我们提出了一种新的方法 ——Temporal Aware Pooling (TAP)，用于构建丰富的特征空间，通过计算预先训练主干架构提取的语音特征的高阶矩。我们的方法，TAP-SLDA，在实验分析中在多个设置、主干架构和基准测试中表现优异，在 GSC 数据集上相对平均增益达到 11.3%。

    Jul, 2023

  • 基于预训练语言模型的知识迁移，提升基于 CTC 的语音识别

    基于 CTC 的自动语音识别模型一直比基于处理单元的编码 - 解码模型弱，本文提出了两种知识转移方法，借助预训练的 BERT 和 GPT2 来提高 CTC-based 模型的性能。在实验中，相对于不使用外部语言模型的基础模型，我们的方法将字符错误率降低了 16.1%。

    Feb, 2022

  • 多任务学习下的联合 CTC-Attention 基于端到端语音识别

    本研究介绍了一种新的方法，使用多任务学习框架中的联合 CTC-attention 模型来改善端到端语音识别的鲁棒性并实现快速收敛，从而减轻对齐问题。实验证明，与 CTC 和 attention-based encoder-decoder 基线相比，在 WSJ 和 CHiME-4 任务中表现出 5.4-14.6％的相对 CER 改进。

    Sep, 2016

  • 使用声学 CTC 损失进行迭代伪强制齐次化，以进行自监督 ASR 领域适应

    本文提出了基于自监督域适应的算法，采用迭代式伪强制对齐算法生成的对齐文本，用于定制端到端自动语音识别，并通过降低文本量或扩展对齐窗口的方法迭代计算文本对齐更新。算法精良地运用帧级字符概率、CTC 损失计算等技术，实现了对主流语音数据库的高精度音频文本对齐、领域自适应和半监督训练。

    Oct, 2022