Jun, 2022

QbyE-MLPMixer：使用 MLPMixer 实现 Query-by-Example 开放词汇关键词检测

PDF
TL;DR本文提出了一种基于 MLPMixer 的纯 MLP 神经网络模型，用于识别开放词汇下的关键字，该模型在 Hey-Snips 数据集和内部数据集中都取得了比传统基于循环神经网络和卷积神经网络模型更好的性能，并拥有更少的参数和 MACs。
keyword spottingmlp-based neural networkopen-vocabularymlpmixerhey-snips dataset
发现论文，激发创造
  • 从非常嘈杂和混杂的语音中识别关键词

    本文提出了一种新的 Mix Training（MT）策略，用于探测嵌入在强干扰和混合语音中的低能量关键词，使用卷积神经网络（CNN）和 EfficientNet（B0/B2）架构，实验结果在 Google 语音命令数据集上表明，提出的混合训练方法高度有效，优于传统的数据增强和混合训练。

    May, 2023

  • HyperMixer：基于 MLP 的绿色 AI 替代 Transformer

    本文提出 HyperMixer 模型，通过使用超网络动态形成令牌混合 MLP 实现自然语言理解，相比于现有的 MLP-based 模型和 Transformer，在处理时间、训练数据和超参数调整方面具有更低的成本，并在实证中表现更好。

    Mar, 2022

  • 无需注意力的关键词检测

    本文探讨了是否自注意力在识别语音关键词方面是否真的不可替代，提出了一种高效的小型化门控多层感知机模型，证明该方法在语音关键词检测方面的性能表现强于自注意力方法且参数量更少。

    Oct, 2021

  • pNLP-Mixer: 一种用于语言处理的高效全 MLP 结构

    介绍了一种低内存、低延迟基于 MLP-Mixer 的 pNLP-Mixer 模型，通过在语言学上指导投影层，实现了高效的语义分析，达到了与 38 倍参数的 mBERT 相当的性能。

    Feb, 2022

  • 注意力视觉关键词检测

    本研究提出 Transpotter 模型，使用全面的跨模态注意力机制在视觉和语音流之间进行交互，成功实现静默视频序列中的语音关键词检测，并且在多项测试中，优于当前视觉关键词检测和唇语识别模型，并具备较强的嘴型单词分离的能力。

    Oct, 2021

  • 学习音频文本协同以实现开放式关键词定位

    本文提出一种新颖的端到端的用户定义关键词检测方法，利用语音和文本序列之间的语言对应模式，实现音频和文本表征在共同的隐含空间中；采用基于注意力的跨模态匹配方法，训练具有单调匹配损失和关键词分类损失的模型，并利用去噪损失改善模型在嘈杂环境中的稳健性，同时引入 LibriPhrase 数据集用于高效地训练关键词检测模型；与其他单模态和跨模态基线相比，在各种评估集上取得了有竞争力的结果。

    Jun, 2022

  • 多语言神经表示的端到端开放词汇关键词搜索

    利用多语言预训练的神经 ASR-free 关键词搜索模型能够显著提高性能，并且在长查询和未出现在训练数据中的查询方面胜过基于 ASR 的系统。

    Aug, 2023

  • MM-KWS: 多模态用户定义多语言关键词检测

    提出了 MM-KWS，一种新颖的用户定义关键词识别方法，利用文本和语音模板的多模态注册。通过从文本和语音中提取音素、文本和语音嵌入，将这些嵌入与查询语音嵌入进行比较，以检测目标关键词。为了确保 MM-KWS 在多种语言环境下的适用性，利用了包含多个多语言预训练模型的特征提取器。此外，还整合了高级数据增强工具，以提高 MM-KWS 在区分混淆单词方面的性能。在 LibriPhrase 和 WenetPhrase 数据集上的实验证明，MM-KWS 明显优于之前的方法。

    Jun, 2024

  • 基于神经网络的关键词检测架构搜索

    本文利用神经架构搜索来搜索卷积神经网络模型，以提高基于音频信号的关键词识别性能，同时保持合理的内存占用。通过不同 iable Architecture Search 技术搜索预定义细胞空间中的操作符和它们之间的连接，然后在深度和宽度上扩展发现的单元来实现具有竞争力的性能，最终在 Google 的语音命令数据集上实现 97% 的最新准确性。

    Sep, 2020

  • 使用原型网络进行少样本关键词识别

    研究通过使用度量学习，以及选择临时和膨胀卷积等技术来解决关键词识别中的新词汇难题。同时，利用生成的数据集，可以使用少量样本准确识别新的用户自定义的关键词汇。

    Jul, 2020