Nov, 2023

LC4SV：学习调节未见说话人验证模型的去噪框架

PDF
TL;DR在嘈杂环境中，为了提高演讲者验证（SV）模型的性能，我们提出了一个名为 LC4SV 的通用降噪框架，采用学习为基础的插值代理，自动生成增强信号与噪声输入之间合适的系数，从而改善 SV 系统的性能。
speaker verificationspeech enhancementperformance improvementdenoising frameworklearning-based interpolation
发现论文，激发创造
  • 通过合成进行语音增强的自监督学习

    本文提出了一种基于去噪声码器的语音增强方法，利用自监督学习获取语音的相关特征，并采用最佳的自监督学习配置，采用对抗训练方式进行声音去噪，最终实现了一种具备实时能力、优化了客观指标并超越了当前最先进的语音增强模型的方案。

    Nov, 2022

  • D4AM：用于下游声学模型的通用去噪框架

    在嘈杂环境中，声学模型的性能明显下降。本研究提出了一种用于各种下游声学模型的通用降噪框架 D4AM，通过特定声学模型和相应的分类目标，用反向梯度调整语音增强模型并考虑回归目标作为辅助损失，该方法可以直接估计合适的权重系数，从而避免了额外的训练成本，并有效改善各种未知声学模型的性能。该框架在 Google ASR API 上进行实验，相对于直接使用嘈杂输入，取得了 24.65% 的相对 WER 降低，是首个实现回归和分类目标有效组合的通用预处理器适用于各种未知 ASR 系统的工作。

    Nov, 2023

  • 利用大规模 ASR 模型，在自监督学习中追求说话者验证的有监督性能

    自我监督学习在发音验证中表现出与有监督系统相近的性能，本研究通过对预训练的 WavLM 进行自我监督有监督微调并使用伪标签，实现了语音表示学习中的有监督性能，取得了 0.99％的 EER，接近有监督基线 0.94％的 EER。

    Jun, 2024

  • 通过自监督表示增强基于 LLM 的语音生成系统的稳定性

    在这项研究中，我们介绍了一种新的自监督语音转换（VC）架构，它可以用来学习将瞬时特征，如内容，与静态特征（如说话者 ID 或录音条件）分开进行编码，从而创建说话者解耦的表示。结果表明，训练过以说话者解耦的自监督表示的 Large Language Models（LLMs）相比于最先进的关联表示提高了 4.7 个百分点的说话者相似度，并降低了 5.4 个百分点的词错误率（WER）。此外，它们在自然性方面比 LibriTTS 测试集中的人类录音表现更好。最后，我们表明使用明确的参考嵌入对可读性（稳定性）产生负面影响，与仅使用文本来推断风格的模型相比，WER 增加了 14 个百分点。

    Feb, 2024

  • 使用未标注的外部数据进行对抗性发声人分离的自监督表征语音转换

    提出了一种基于声音转换技术的高相似度任意语音转换方法，该方法中使用了自监督学习方法及其提取的 SSL 输入表示，采用对抗训练机制和辅助判别器，通过外部未标注的大型语音语料库，在合成模块中成功解决了与 SSL 表示中的说话者信息与音色相似度有关的限制问题。实验结果表明，我们的方法在自然度高且相似度可比的情况下比监督方法更加灵活，同时可以推广至其他 SSL 表示作为输入的 VC 方法，而且无需大量标注数据的支持。

    May, 2023

  • 无监督域自适应的防欺骗说话人验证

    研究如何提高自动说话人验证系统的欺骗稳健性，主要从基于概率线性判别分析的后端分类器入手，并运用三种无监督领域适应技术来优化它。旨在提高系统在逻辑和物理接近情境下的表现，对于后者，尤其是在被重放音频攻击时，针对真实的和伪造的情况，相对改进率分别达到 36.1% 和 5.3% 接近最高点。除此之外，还进行了一些额外的研究，如攻击分析、数据构成和与高斯后端的分数级别的对策系统的集成分析。

    Mar, 2022

  • 基于稳健解缠变分语音表示学习的零样本语音转换

    本研究提出利用自监督分离式语音表示学习的新视角进行零样本语音转换，通过在序列变分自编码器中平衡全局说话人表示和时变内容表示之间的信息流实现分离，并应用实时数据增强培训策略以使所学表示不受噪声干扰。在 TIMIT 和 VCTK 数据集上表现出了优越性能，不仅在客观评估上表现良好，而且在主观评估方面具有鲁棒性，即使在源 / 目标语音帧存在噪声的情况下仍能保持不错的性能。

    Mar, 2022

  • 基于原型动量对比学习的自监督文本无关说话人验证

    本研究针对发音者验证（SV）探索了自我监督表示学习方法，其中，提出了一种动量对比学习框架的简单对比学习方法（SimCLR），使用排队机制的 MoCo 说话人嵌入系统来维护大量负面例子，通过波形的变形处理方法等方式以规范化两个随机部分的内在发音人的变异性，进一步将提出的 MoCo 说话人嵌入引入到典型的内存银行中，并对半监督框架进行推广，取得了与现有技术相当的性能。

    Dec, 2020

  • 利用多组噪声扩充数据进行跨语言口语理解的学习

    本文提出了一种通过机器学习方法处理低资源语言中语音理解数据的方法，通过多个模型同时对不同扩充的训练数据对彼此提供监督信号，实现了对数据的去噪处理，在两个基准数据集上的实验结果表明，我们的方法优于现有技术达 3.05% 和 4.24% 的性能表现。

    Sep, 2021

  • 通过正交化规则学习解耦合特征

    为了同时提高语音任务中关键词识别和说话人验证的性能，设计了具有相同结构的两个深度网络（关键词分支和说话人验证分支），提出了一种新的解耦特征学习方法，并使用正交性约束技术，实现对谷歌语音命令数据集的最佳性能。

    Mar, 2022