Feb, 2022

基于神经网络剪枝的迭代微调设计紧凑型视听唤醒词识别系统研究

PDF
TL;DR本文提出了一种使用神经网络剪枝策略的紧凑型音视频唤醒词识别系统，该系统利用 MobileNet 对唇部信息进行编码，并与声学特征进行融合，大大提高了在不同噪声条件下的唤醒词识别性能，可望在电视开机场景下实现实际应用。
audio-visualneural network pruningwake word spottingmobilenetnoisy conditions
发现论文，激发创造
  • 观察唤醒词：视听关键词检测

    本研究提出一种名为 KWS-Net 的卷积神经网络结构，通过序列匹配和模式检测技术，从视觉角度自动检测并确定在何时，是否有包含关键词的口型出现，在无音频或有清晰 / 嘈杂语音的情况下，性能优于现有的同类方法，还在跨语言处理上实现了良好的表现。

    Sep, 2020

  • 面向唤醒词检测的数据有效建模

    本研究提供了一种数据高效的跨领域唤醒词模型训练技术，该技术包括多种声学环境的训练管道和半监督学习管道，可以用 10 个小时的领域不匹配的音频来增强模型鲁棒性，并从未经译写的语音语料库中准确提取 WW 和可能相似的例子，所提出的解决方案可节省 97％的具体 WW 数据收集和 86％的注释带宽并达到产业级模型的可比性能。

    Oct, 2020

  • 双重注意力神经传输器用于语音识别中高效唤醒词检测

    该论文提出了双重注意力神经偏置结构，通过利用 Wake Words 来选择要执行的注意力网络分支，从而提高语音识别任务中的 Wake Words 识别准确性，节省运行时计算成本，并改善了其他方面的性能，同时降低了参数数量。

    Apr, 2023

  • 轻量级迭代模型在嘈杂环境下的音像语音分离

    本文提出了一种名为 AVLIT 的轻量级神经网络，使用渐进学习（PL）在嘈杂的环境中进行音视频语音分离。通过异步完全循环卷积神经网络（A-FRCNN）的结构分支，我们的模型在音频和视觉两个分支下进行迭代学习，并在音频和视觉分离方面表现出较高的精度。同时由于模型尺寸小，因此适合低资源环境应用。

    May, 2023

  • 两阶段多分辨率集成的稳健唤醒词检测

    通过增强数据的时间对齐性和使用基于两个分辨率阶段的检测，本研究提出了一种声控界面的优化方案，包括轻量级即时处理音频流的设备端模型和云端验证模型。在隐私保护方面，该方案将音频特征发送到云端而非原始音频，且在各噪声条件下，所提出的模型优于更强的分类器。

    Oct, 2023

  • 野外视觉语音识别零样本关键词检测

    本论文针对实际应用中未被训练过的词语进行视觉关键词检测的问题，并使用端到端的多层神经网络架构，使用语音图形编码器解决了此问题，该模型在 LRS2 数据集上取得了非常有前途的结果。

    Jul, 2018

  • 通过唇语子词相关性进行视觉预训练和交叉模态融合编码的提高音频视觉语音识别

    本文提出了两种新技术来改善音视频语音识别，通过利用口型和音节级次字单元之间的相关性来建立良好的帧级音节边界并实现准确定位，以及利用音频引导的跨模态融合编码器神经网络来充分利用模态互补性。实验结果表明，使用相对较少的训练数据，该系统比复杂的前端和后端现有系统取得更好的性能。

    Aug, 2023

  • 基于注意力机制的视听融合在强鲁棒性自动语音识别中的应用

    本文提出了一种音频视觉融合策略，该策略不仅可以超越简单的特征连接，而且可以自动地对齐两种方式，具有提高语音识别准确性的增强表示，特别适合干扰噪声环境中的识别任务，并且可以推广到许多涉及相关模态的多模态任务中。

    Sep, 2018

  • 基于 PCA 网络和 LSTM 的同步 GMM-HMM 系统中的视觉语音识别

    本文研究了如何使用图像获得人类言语的信息，使用主成分分析 (PCA) 和深度学习的方法，通过卷积神经网络 (CNN) 和使用长短时记忆 (LSTM) 的循环神经网络 (RNN) 对图像进行分析并提取出空间时间特征，进而在语音识别任务中展现出较高的准确率。

    Oct, 2017

  • 面向鲁棒语音识别的语音增强和噪音感知网络

    提出了一个基于噪声感知的训练框架，将增强语音引入到声学模型的多条件训练中，通过两个级联的神经结构来优化增强语音和语音识别，并取得了较好的实验结果。

    Mar, 2022