Nov, 2023

利用说话者信息个性化关键词检测

PDF
TL;DR通过整合说话者信息到关键词检测系统，使用 Feature-wise Linear Modulation（FiLM）方法从多个信息源进行学习，我们在多样化数据集上实验并取得了显著提高的关键词检测准确性，特别是在不平衡说话者群体中，还能在参数数量上只增加 1% 的情况下，最小程度影响延迟和计算成本，使其成为实际应用中的可行解决方案。
keyword spotting systemsspeaker informationfeature-wise linear modulationtext-dependent speaker recognitionunderrepresented speaker groups
发现论文，激发创造
  • 学习音频文本协同以实现开放式关键词定位

    本文提出一种新颖的端到端的用户定义关键词检测方法，利用语音和文本序列之间的语言对应模式，实现音频和文本表征在共同的隐含空间中；采用基于注意力的跨模态匹配方法，训练具有单调匹配损失和关键词分类损失的模型，并利用去噪损失改善模型在嘈杂环境中的稳健性，同时引入 LibriPhrase 数据集用于高效地训练关键词检测模型；与其他单模态和跨模态基线相比，在各种评估集上取得了有竞争力的结果。

    Jun, 2022

  • 可扩展多语言关键词检测模型的本地编码

    该研究提出了一种多语言关键词检测系统，该系统可在多个场所检测口语关键词。通过使用基于区域条件的通用模型，该系统能够有效地克服传统单语言关键词检测方法在多语言场景下的开发 / 维护成本高和资源缺乏等问题，并在不同噪声条件下的所有区域显着提高了准确性。其中，特征调制方法效果最佳，与类似大小的单语言模型相比，平均 FRR 提高了 61％。

    Feb, 2023

  • MM-KWS: 多模态用户定义多语言关键词检测

    提出了 MM-KWS，一种新颖的用户定义关键词识别方法，利用文本和语音模板的多模态注册。通过从文本和语音中提取音素、文本和语音嵌入，将这些嵌入与查询语音嵌入进行比较，以检测目标关键词。为了确保 MM-KWS 在多种语言环境下的适用性，利用了包含多个多语言预训练模型的特征提取器。此外，还整合了高级数据增强工具，以提高 MM-KWS 在区分混淆单词方面的性能。在 LibriPhrase 和 WenetPhrase 数据集上的实验证明，MM-KWS 明显优于之前的方法。

    Jun, 2024

  • 为语音合成编码特定讲话者的潜在语音特征

    提出了一种用于建模众多发言人的新方法，并通过对特征进行离散化和将其与语音合成模型相结合来表示目标发言人的语音特征。该方法在主观相似性评估中获得了较高的相似度平均意见分数（SMOS），甚至对于未见过的发言人，其性能优于最佳多发言人模型的已见发言人，而且也显著优于零样本方法。此外，该方法在生成新的虚拟发言人方面表现出色，并且通过编码潜在特征能够完全重构原始发言人的语音，说明该方法可以作为在各种任务中对发言人特征进行编码和重构的通用方法。

    Nov, 2023

  • 多跳特征调节视觉推理

    本文提出了在卷积神经网络中多次迭代地生成 Feature-wise Linear Modulation（FiLM）层参数的方法，以更好地处理诸如对话等较长的输入序列，并在 GuessWhat？！视觉对话任务中显著优于之前的最新技术和单次 FiLM 生成。

    Aug, 2018

  • 关键字检测 -- 基于深度学习的口语指令识别

    探索使用语音识别机器学习和深度学习技术进行关键词识别的重要任务，并实现了将原始波形转换为 Mel 频率倒谱系数作为模型输入的特征工程。通过尝试使用多种算法，包括混合高斯隐马尔科夫模型、卷积神经网络以及变种的循环神经网络，如长短时记忆和注意力机制，我们的实验表明带有双向长短时记忆和注意力机制的循环神经网络可以达到 93.9％的准确率。

    Dec, 2023

  • 多模态 LSTM 的发言人识别技术 - 看、听、学习

    本文提出了一种新颖的多模态长短时记忆结构 (MLSTM)，它可以无缝整合来自视频序列的视觉和听觉信息，建模人脸和声音之间的时间依赖关系，从而提高语音识别的鲁棒性和识别精度。

    Feb, 2016

  • 深度多模态说话人命名

    本文提出了一种基于卷积神经网络的学习框架，通过融合面部和音频线索，实现了自动说话人命名，并证明了该系统在不需要面部跟踪、面部标记定位或字幕 / 转录的情况下，可以在两个不同的电视剧中实现最先进的说话人命名性能。

    Jul, 2015

  • 自发语音的主题识别：丰富音频特征与嵌入的语言信息

    该研究探讨了在低资源情况下，通过比较纯音频和混合多模态技术的音频识别解决方案，发现纯音频解决方案是没有自动语音识别系统的情况下的可行选项，并且混合多模态解决方案获得了最佳结果。

    Jul, 2023

  • 注意力视觉关键词检测

    本研究提出 Transpotter 模型，使用全面的跨模态注意力机制在视觉和语音流之间进行交互，成功实现静默视频序列中的语音关键词检测，并且在多项测试中，优于当前视觉关键词检测和唇语识别模型，并具备较强的嘴型单词分离的能力。

    Oct, 2021