Nov, 2022

混响作为语音分离监督

PDF
TL;DR本文提出了一种新的无监督算法损失函数，称为混响作为监督（RAS），使用两个信道的混合信号，训练神经网络以分离源，并通过维纳滤波器来评估所分离出的混响信号。实验结果表明，相对于只使用已标注数据和使用完整数据的有监督算法，本方法在只有 5% 到 10% 的标注数据时可以获得可观的性能优越性。
发现论文，激发创造
  • 探索自监督学习表征中的语音分离与识别集成

    深度学习在语音分离方面的应用及其对多说话人语音识别的整合进行了深入研究，并提出了一种通过复杂谱映射和自监督学习表示进行的训练策略，从而在噪声和混响环境下显著提升多说话人语音识别性能。

    Jul, 2023

  • WHAMR!: 有噪声和混响的单通道语音分离

    本研究提出了 WHAMR!，它是 WHAM! 的一个增强版本，用于对语音分离系统的性能进行基准测试，包括反射。我们评估了当前的技术模型以及新引入的模型的性能。

    Oct, 2019

  • 针对语音识别的房间脉冲响应估计的改进

    本研究提出了一种基于生成敌对网络（GAN）的结构，通过编码反射语音中的 RIR 特征并构建 RIR，使用新颖的能量衰减缓解损失来优化模型，从而提高自动语音识别（ASR）系统的性能，实验证明该模型在声学基准测试和 ASR 评估任务中都比现有模型表现更好。

    Nov, 2022

  • 远场语音识别的神经盲分离和发言者划分

    本文提出了一种神经方法，用于远程语音识别（DSR），它能够在没有隔离信号的监督情况下，同时分离和解麦克风混合的语音，并没有未知数量的活跃说话者。

    Jun, 2024

  • RevRIR: 利用对比学习进行联合混响语音和室内冲激响应嵌入，应用于房间形状分类

    该论文研究了室内指纹识别，通过分析音频记录以确定录制音频时所在房间的音量和形状。提出了一种双编码器架构，可直接从语音中估算房间参数，通过对比损失函数将语音和声学响应联合嵌入，通过在预训练和微调阶段的训练实现具体的分类任务，并在测试阶段使用嵌入来进行房间形状分类。该方案在模拟声学环境中进行了广泛评估。

    Jun, 2024

  • RIR-SF：基于房间冲激响应的多通道多说话人 ASR 的空间特征

    通过将重叠的语音信号与目标讲话者传输到麦克风阵列的房间冲激响应（RIR）进行卷积，引入了一种创新方法，得到了一种称为 RIR-SF 的新型空间特征。理论分析和实验结果均证实了该方法相对于现有方法的优越性，通过在多通道多讲话者 ASR 系统中实现 CER 的显著 21.3％的相对减小来表明了 RIR-SF 的超越性，重要的是，这种新特征在强混响环境下表现出稳健性，超越了以往方法的限制。

    Oct, 2023

  • 音频视觉端到端多通道语音分离、去混响和识别

    通过全面将视频信息融入系统的所有组件，我们提出了一种音频 - 视觉多通道语音分离、去混响和识别方法，有效地解决了包含重叠发言者、噪声和混响的鸡尾酒会言语的准确识别问题。

    Jul, 2023

  • 双耳角度分离网络

    我们提出了一个神经网络模型，可以使用两个麦克风在不同的角度区域将目标语音源与干扰源分离。该模型使用模拟的室内脉冲响应进行训练，无需收集真实的脉冲响应。通过依赖特定的角度区域和多个房间模拟，该模型利用一致的到达时间差（TDOA）线索，或者我们称之为延迟对比，将目标和干扰源分离，同时在各种混响环境中保持稳健性。我们展示了该模型不仅适用于具有稍微不同麦克风几何结构的商用设备，而且优于我们之前使用同一设备上的一个额外麦克风的工作。该模型在设备上实时运行，适用于低延迟的流媒体应用，如电话和视频会议。

    Jan, 2024

  • 基于对比学习和深度模块化的语音分离

    研究使用对比学习建立框架的表示，并使用学到的表示在下游深度模块化任务中，自监督学习以最小化属于给定说话者的框架之间的距离，以进行语音分离。通过 WSJ0-2mix 和 WSJ0-3mix 的评估，该技术的性能不会随着说话者数量的增加而显着降低。

    May, 2023

  • 无需转写的噪声和混响多说话人自动语音识别的语音分离模型微调

    该论文提出了一种无需参考文本信息的联合训练方法，利用预训练的自动语音识别编码器的嵌入差异作为损失，通过改进的排列不变训练（PIT）方法 —— 引导式 PIT（GPIT），在不同度量指标上取得了 6.4% 的词错误率（WER）改善和感知度量指标（如短时客观清晰度）的提升。

    Jun, 2024