Jun, 2023

增强神经波束形成器结合空间信息用于目标语音提取

PDF
TL;DR本文提出了一种利用空间信息增强神经波束形成器性能的目标语音提取网络，该网络采用 UNet-TCN 结构模拟输入特征，并通过引入多头交叉注意力机制来利用阵列接收到的空间信息，实现了更合理的目标掩蔽估计网络和基于空间信息的交叉注意力机制，有效提高语音分离性能。
发现论文，激发创造
  • 时空神经滤波器：方向感知的端对端多通道目标语音分离

    本文提出了一种时空神经滤波器，通过方向信息的辅助作用，从具有混响的多人语音混合物中直接估计目标语音波形，以提高目标和干扰源之间的时域、频域和空域可辨识度，并设计了一种全卷积自动编码器框架用于快速和端到端的语音分离处理。

    Jan, 2020

  • 统一多通道远场语音识别系统：将神经波束形成与基于注意力的端到端模型结合

    我们提出了一种统一的多通道远场语音识别系统，结合了神经波束成形和基于 Transformer 的 Listen，Spell，Attend（LAS）语音识别系统，进一步扩展了端到端语音识别系统以包含语音增强，并通过共同训练来优化最终目标。

    Jan, 2024

  • 利用时域 SpeakerBeam 改善目标语音提取的说话人识别能力

    本文提出 SpeakerBeam 算法实现对目标说话人的识别和提取，对同性别混合语音的语音分离效果不如期望，但在本文中提出的时间域、空间特征和辅助说话人识别方法使得提取效果得到增强并超过了 TasNet。

    Jan, 2020

  • 高效单声道语音增强的谱注意力融合

    在语音增强领域，我们提出了一种称为频谱注意力融合的方法，通过使用卷积模块替换自注意力层，提高了模型的计算效率，从而实现了与先进模型相媲美的结果，但参数规模更小（0.58M）的目标。

    Aug, 2023

  • 基于时间域的大脑辅助言语增强网络：在多说话人条件下使用卷积交叉注意力

    本研究提出了一种基于脑电图信号的时域单通道语音增强网络（BASEN），用于从混响环境中提取目标讲话者的语音，并且实验结果显示，该方法在多项评估指标上表现优于现有方法。

    May, 2023

  • 语音增强中高效编码器 - 解码器和双通道 Conformer 的综合特征学习

    该论文提出了一种基于改进密集连接块、双路径模块、卷积增强变形器、通道注意力和空间注意力的时间频域语音增强网络（DPCFCS-Net）, 在 VCTK+DEMAND 数据集上表现优于现有技术，其改进的密集连接块和二维注意力模块易于集成到现有网络中，具有更高的适应性。

    Jun, 2023

  • 实时双耳语音分离并保留空间提示

    本文提出了一种基于 TasNet 的多输入多输出的语音分离算法，该算法能够保留声源的空间信息，实现实时修改声学场景，并在不同声学场景中显著改善分离性能并保持位置感知。

    Feb, 2020

  • 单通道语音混合中基于深度提取网络的目标说话人恢复

    该研究提出了一种新的基于深度提取器网络的说话人感知源分离方法，它能够在高维空间构建提取器点以提取目标说话人的信息。实验结果表明该方法可以高效地从混合音频中恢复高质量的目标语音，相比基线深度吸引子模型，SDR 和 PESQ 都有 5.2% 和 6.6% 的相对改进，并且该方法可以很好地推广到多个干扰说话人的情况下。

    Jul, 2018

  • 多麦克风距离语音识别中的听觉关注循环模型

    本文提出了一种神经注意力网络来直接合并多通道音频以生成语音状态，无需任何关于麦克风布置的先前知识或任何用于语音增强的显式信号预处理。

    Nov, 2015

  • 基于注意力的移动声源场景下的多通道语音增强

    当前的多通道语音增强算法通常假设声源是固定的，这与现实不符，限制了它们在实际场景中的性能。本文聚焦于为动态环境设计的基于注意力的空间滤波技术。具体地，我们研究了线性和非线性注意力方法在估计时变空间协方差矩阵以设计滤波器时的应用。我们还研究了通过注意力方法直接估计空间滤波器，而无需明确估计空间统计数据。使用 WSJ0 中的干净语音片段模拟在混响环境中移动发声者的语音信号生成实验数据集，其中混合了 CHiME-3 中的多通道真实噪声。评估结果表明，基于注意力的方法在静态和动态声音环境中均表现出鲁棒性，并始终优于传统的空间滤波方法。

    Dec, 2023