Jan, 2020

时空神经滤波器：方向感知的端对端多通道目标语音分离

PDF
TL;DR本文提出了一种时空神经滤波器，通过方向信息的辅助作用，从具有混响的多人语音混合物中直接估计目标语音波形，以提高目标和干扰源之间的时域、频域和空域可辨识度，并设计了一种全卷积自动编码器框架用于快速和端到端的语音分离处理。
target speech separationdeep learningreverberant environmentstemporal-spatial neural filterdirectional information
发现论文，激发创造
  • 利用空间选择性深度非线性滤波器的多通道语音分离

    本文中我们提出了基于深度神经网络和循环神经网络的空间选择性滤波器 (SSF)，在多扬声器多声道分离任务中，可以从混合信号中提取出特定说话者的声音信息，并与直接分离方法进行了比较。结果表明，SSF 具有更好的空间信息利用和泛化能力。

    Apr, 2023

  • 实时双耳语音分离并保留空间提示

    本文提出了一种基于 TasNet 的多输入多输出的语音分离算法，该算法能够保留声源的空间信息，实现实时修改声学场景，并在不同声学场景中显著改善分离性能并保持位置感知。

    Feb, 2020

  • 增强神经波束形成器结合空间信息用于目标语音提取

    本文提出了一种利用空间信息增强神经波束形成器性能的目标语音提取网络，该网络采用 UNet-TCN 结构模拟输入特征，并通过引入多头交叉注意力机制来利用阵列接收到的空间信息，实现了更合理的目标掩蔽估计网络和基于空间信息的交叉注意力机制，有效提高语音分离性能。

    Jun, 2023

  • 多模态多通道目标语音分离

    通过利用目标说话者的空间位置、声音特征和唇部运动，本研究提出了一种通用的多模态框架来实现目标语音分离，并探讨了多模态联合建模的融合方法。通过实验验证，该方法在真实情况下的强鲁棒性表现显著优于单模和双模语音分离方法，同时可支持实时处理。

    Mar, 2020

  • 端到端多通道语音分离

    本文提出了一种基于端到端的多通道语音分离模型，通过可学习空间特征的提出，在 WSJ0 远场语音分离任务中显著改进了单通道和传统多通道方法的性能。

    May, 2019

  • 通过空间特征学习增强端到端多通道语音分离

    本研究提出了一种基于 2d 卷积层的端到端架构，通过训练时域滤波器来学习从多通道语音波形中提取空间特征，使用互通卷积差分技术 (ICD) 提高多通道语音分离模型的分离性能。

    Mar, 2020

  • VoiceFilter: 基于说话人条件的频谱掩码的定向语音分离

    本文提出一个新颖的系统用于从多人信号中分离目标说话者的声音，并通过两个神经网络来训练：说话人识别网络和谱掩蔽网络。该系统可明显降低多人信号上的语音识别错误率，并在单人信号上最小限度地降低错误率。

    Oct, 2018

  • TasNet: 用于实时单声道语音分离的时域音频分离网络

    本文针对多说话人环境下的鲁棒语音处理，提出了使用时域音频分离网络 (TasNet) 直接对信号进行建模，通过编码器输出估计源掩码、并经过解码器进行合成的方法，该方法适用于实时应用，并能在低功耗情况下完成语音分离任务，是当前最先进的语音分离算法之一。

    Nov, 2017

  • 探索自监督学习表征中的语音分离与识别集成

    深度学习在语音分离方面的应用及其对多说话人语音识别的整合进行了深入研究，并提出了一种通过复杂谱映射和自监督学习表示进行的训练策略，从而在噪声和混响环境下显著提升多说话人语音识别性能。

    Jul, 2023

  • 时域音视频语音分离

    本文介绍了一种新的时间域音视图架构，用于从单声道混合物中提取目标说话人，实验结果表明，相比于仅有声音的 TasNet 和频域音 - 视网络，我们的方法在两个和三个说话人的情况下分别可以提供 3dB + 和 4dB + 的信噪比改进。

    Apr, 2019