Sep, 2020

观察唤醒词：视听关键词检测

PDF
TL;DR本研究提出一种名为 KWS-Net 的卷积神经网络结构，通过序列匹配和模式检测技术，从视觉角度自动检测并确定在何时，是否有包含关键词的口型出现，在无音频或有清晰 / 嘈杂语音的情况下，性能优于现有的同类方法，还在跨语言处理上实现了良好的表现。
visual keyword spottinglip readingconvolutional architecturesequence matchingpattern detection
发现论文，激发创造
  • 野外视觉语音识别零样本关键词检测

    本论文针对实际应用中未被训练过的词语进行视觉关键词检测的问题，并使用端到端的多层神经网络架构，使用语音图形编码器解决了此问题，该模型在 LRS2 数据集上取得了非常有前途的结果。

    Jul, 2018

  • 基于神经网络剪枝的迭代微调设计紧凑型视听唤醒词识别系统研究

    本文提出了一种使用神经网络剪枝策略的紧凑型音视频唤醒词识别系统，该系统利用 MobileNet 对唇部信息进行编码，并与声学特征进行融合，大大提高了在不同噪声条件下的唤醒词识别性能，可望在电视开机场景下实现实际应用。

    Feb, 2022

  • 注意力视觉关键词检测

    本研究提出 Transpotter 模型，使用全面的跨模态注意力机制在视觉和语音流之间进行交互，成功实现静默视频序列中的语音关键词检测，并且在多项测试中，优于当前视觉关键词检测和唇语识别模型，并具备较强的嘴型单词分离的能力。

    Oct, 2021

  • 深度口语关键词检测：概述

    本文综述了深度口语识别应用技术，包括深度学习、语音识别、音视频识别等方向，旨在为相关从业者和研究人员提供指导和帮助。

    Nov, 2021

  • 学习音频文本协同以实现开放式关键词定位

    本文提出一种新颖的端到端的用户定义关键词检测方法，利用语音和文本序列之间的语言对应模式，实现音频和文本表征在共同的隐含空间中；采用基于注意力的跨模态匹配方法，训练具有单调匹配损失和关键词分类损失的模型，并利用去噪损失改善模型在嘈杂环境中的稳健性，同时引入 LibriPhrase 数据集用于高效地训练关键词检测模型；与其他单模态和跨模态基线相比，在各种评估集上取得了有竞争力的结果。

    Jun, 2022

  • 使用 Sinc 卷积在原始音频数据上进行小型关键词检测

    本论文提出了一种新的端到端体系结构，并使用参数化 Sinc 卷积直接从原始音频中提取谱特征，实现了关键词的实时分类，其准确度高达 96.4%，序数为 62k。

    Nov, 2019

  • 基于语音增强的无监督学习关键词检测

    本文研究了一种基于语音增强的无监督学习方法来解决关键词检测任务，提出了一种 CNN-Attention 模型来处理关键词检测任务，并通过两种语音增强方法来提高模型的稳健性和分类效果，实验表明，这种增强式的无监督学习方法能够进一步提高关键词检测的准确率。

    May, 2022

  • 探索用于小尺寸关键词检测的表示学习

    本文探讨了如何利用自监督对比学习和预训练模型来进行低资源关键词检测中的表征学习，通过构建局部 - 全局对比同构网络和利用预训练 Wav2Vec 2.0 模型，该小型模型可以利用未标记的数据进行预训练，实验结果表明在小的标记数据集的情况下，自我训练的 WVC 模块和自监督的 LGCSiam 模块可以显著提高准确性。

    Mar, 2023

  • 基于微控制器的关键词识别技术

    本研究旨在针对资源受限的微控制器上运行的关键词检测（Keyword spotting，KWS）应用，对神经网络架构进行评估和探索。我们训练了各种已经在文献中发表的用于关键词检测的神经网络架构，比较了它们的准确性和存储器 / 计算要求。我们表明，我们可以优化这些神经网络架构来适应微控制器的存储器和计算限制，而不会牺牲准确性。此外，我们进一步探索了深度可分离卷积神经网络（DS-CNN），并将其与其他神经网络架构进行了比较。DS-CNN 实现了 95.4％的准确性，比具有类似参数数量的 DNN 模型高出约 10％。

    Nov, 2017

  • 基于音频文本的关键字定位的潜在编码匹配

    本文提出了一种基于语音 - 文本嵌入的端到端模型的架构，使用动态规划算法将音频序列与基于单词的文本序列相同长度地划分，并提出了 DSP 方法，实现了音频 - 文本的对齐，实验结果表明，该模型在 ROC 曲线下的面积和等误差率方面优于现有技术 14.4% 和 28.9%。

    Jun, 2023