Jun, 2024

MM-KWS: 多模态用户定义多语言关键词检测

PDF
TL;DR提出了 MM-KWS，一种新颖的用户定义关键词识别方法，利用文本和语音模板的多模态注册。通过从文本和语音中提取音素、文本和语音嵌入，将这些嵌入与查询语音嵌入进行比较，以检测目标关键词。为了确保 MM-KWS 在多种语言环境下的适用性，利用了包含多个多语言预训练模型的特征提取器。此外，还整合了高级数据增强工具，以提高 MM-KWS 在区分混淆单词方面的性能。在 LibriPhrase 和 WenetPhrase 数据集上的实验证明，MM-KWS 明显优于之前的方法。
mm-kwsmulti-modal enrollmentsphonemetext and speech embeddingsdata augmentation tools
发现论文，激发创造
  • 学习音频文本协同以实现开放式关键词定位

    本文提出一种新颖的端到端的用户定义关键词检测方法，利用语音和文本序列之间的语言对应模式，实现音频和文本表征在共同的隐含空间中；采用基于注意力的跨模态匹配方法，训练具有单调匹配损失和关键词分类损失的模型，并利用去噪损失改善模型在嘈杂环境中的稳健性，同时引入 LibriPhrase 数据集用于高效地训练关键词检测模型；与其他单模态和跨模态基线相比，在各种评估集上取得了有竞争力的结果。

    Jun, 2022

  • 可扩展多语言关键词检测模型的本地编码

    该研究提出了一种多语言关键词检测系统，该系统可在多个场所检测口语关键词。通过使用基于区域条件的通用模型，该系统能够有效地克服传统单语言关键词检测方法在多语言场景下的开发 / 维护成本高和资源缺乏等问题，并在不同噪声条件下的所有区域显着提高了准确性。其中，特征调制方法效果最佳，与类似大小的单语言模型相比，平均 FRR 提高了 61％。

    Feb, 2023

  • 深度口语关键词检测：概述

    本文综述了深度口语识别应用技术，包括深度学习、语音识别、音视频识别等方向，旨在为相关从业者和研究人员提供指导和帮助。

    Nov, 2021

  • 野外视觉语音识别零样本关键词检测

    本论文针对实际应用中未被训练过的词语进行视觉关键词检测的问题，并使用端到端的多层神经网络架构，使用语音图形编码器解决了此问题，该模型在 LRS2 数据集上取得了非常有前途的结果。

    Jul, 2018

  • 如何教会关键词探测器在有限的示例下发现新关键词

    KeySEM 是一种基于语音嵌入的关键词识别模型，可用于个性化关键词识别，并能够在有限的示例中高效地学习新关键词，提高关键词识别的性能，这种方法适用于需要在设备上进行学习和自定义的场景。

    Jun, 2021

  • 观察唤醒词：视听关键词检测

    本研究提出一种名为 KWS-Net 的卷积神经网络结构，通过序列匹配和模式检测技术，从视觉角度自动检测并确定在何时，是否有包含关键词的口型出现，在无音频或有清晰 / 嘈杂语音的情况下，性能优于现有的同类方法，还在跨语言处理上实现了良好的表现。

    Sep, 2020

  • 基于大型语言模型的多模态检索用于语音识别

    提出 kNN-LM 和跨注意力技术两种方法的多模态检索，证明了其在语音识别任务上优于基于文本的检索方法，对多模态语言模型基准线具有最高水平的识别结果。

    Jun, 2024

  • 基于语音增强的无监督学习关键词检测

    本文研究了一种基于语音增强的无监督学习方法来解决关键词检测任务，提出了一种 CNN-Attention 模型来处理关键词检测任务，并通过两种语音增强方法来提高模型的稳健性和分类效果，实验表明，这种增强式的无监督学习方法能够进一步提高关键词检测的准确率。

    May, 2022

  • 用于设备上关键词识别系统自定义的 Few-Shot 开放集学习

    本研究针对 KeyWord Spotting 的应用场景，提出了基于 Deep Learning 和 Few-shot Learning 的开放式分类方法，并通过使用三元组损失训练编码器，实现了较高的精度和较低的未知数据虚警率。

    Jun, 2023

  • 探索用于小尺寸关键词检测的表示学习

    本文探讨了如何利用自监督对比学习和预训练模型来进行低资源关键词检测中的表征学习，通过构建局部 - 全局对比同构网络和利用预训练 Wav2Vec 2.0 模型，该小型模型可以利用未标记的数据进行预训练，实验结果表明在小的标记数据集的情况下，自我训练的 WVC 模块和自监督的 LGCSiam 模块可以显著提高准确性。

    Mar, 2023