Mar, 2020

通过空间特征学习增强端到端多通道语音分离

PDF
TL;DR本研究提出了一种基于 2d 卷积层的端到端架构，通过训练时域滤波器来学习从多通道语音波形中提取空间特征，使用互通卷积差分技术 (ICD) 提高多通道语音分离模型的分离性能。
multi-channel speech separationspatial featuresend-to-end architecture2d convolutioninter-channel convolution differences
发现论文，激发创造
  • 端到端多通道语音分离

    本文提出了一种基于端到端的多通道语音分离模型，通过可学习空间特征的提出，在 WSJ0 远场语音分离任务中显著改进了单通道和传统多通道方法的性能。

    May, 2019

  • 利用空间选择性深度非线性滤波器的多通道语音分离

    本文中我们提出了基于深度神经网络和循环神经网络的空间选择性滤波器 (SSF)，在多扬声器多声道分离任务中，可以从混合信号中提取出特定说话者的声音信息，并与直接分离方法进行了比较。结果表明，SSF 具有更好的空间信息利用和泛化能力。

    Apr, 2023

  • 时空神经滤波器：方向感知的端对端多通道目标语音分离

    本文提出了一种时空神经滤波器，通过方向信息的辅助作用，从具有混响的多人语音混合物中直接估计目标语音波形，以提高目标和干扰源之间的时域、频域和空域可辨识度，并设计了一种全卷积自动编码器框架用于快速和端到端的语音分离处理。

    Jan, 2020

  • 利用空间特征和卷积循环神经网络进行声音事件检测

    本文提出使用从多通道音频中提取的低级空间特征进行声音事件检测，通过初始阶段从每个通道中单独学习这些多通道特征，扩展了卷积递归神经网络以处理更多类型的这些特征，并表明将特征呈现为体积的单独层，而不是将每个通道的特征串联成单个特征向量，可以更好地学习多通道音频中的声音事件。与单声道特征相比，在相同网络上使用所提出的空间特征，在公开可用的 TUT-SED 2016 数据集上的 F-score 提高了 6.1％，在 TUT-SED 2009 数据集上的 F-score 提高了 2.7％，该数据集是其 15 倍大。

    Jun, 2017

  • 实时双耳语音分离并保留空间提示

    本文提出了一种基于 TasNet 的多输入多输出的语音分离算法，该算法能够保留声源的空间信息，实现实时修改声学场景，并在不同声学场景中显著改善分离性能并保持位置感知。

    Feb, 2020

  • 基于注意力的移动声源场景下的多通道语音增强

    当前的多通道语音增强算法通常假设声源是固定的，这与现实不符，限制了它们在实际场景中的性能。本文聚焦于为动态环境设计的基于注意力的空间滤波技术。具体地，我们研究了线性和非线性注意力方法在估计时变空间协方差矩阵以设计滤波器时的应用。我们还研究了通过注意力方法直接估计空间滤波器，而无需明确估计空间统计数据。使用 WSJ0 中的干净语音片段模拟在混响环境中移动发声者的语音信号生成实验数据集，其中混合了 CHiME-3 中的多通道真实噪声。评估结果表明，基于注意力的方法在静态和动态声音环境中均表现出鲁棒性，并始终优于传统的空间滤波方法。

    Dec, 2023

  • 多分辨率卷积自编码器实现的原始多通道音频源分离

    本研究提出了一种基于多通道，多分辨率卷积自编码神经网络，通过对原始时域信号进行处理以确定适用于从立体声音乐中分离歌唱声的多分辨率特征，实验结果表明该方法可以实现多通道音频源分离，无需任何手工制作的特征或任何预处理或后处理。

    Mar, 2018

  • 音频视觉端到端多通道语音分离、去混响和识别

    通过全面将视频信息融入系统的所有组件，我们提出了一种音频 - 视觉多通道语音分离、去混响和识别方法，有效地解决了包含重叠发言者、噪声和混响的鸡尾酒会言语的准确识别问题。

    Jul, 2023

  • 深度神经网络用于单通道信号分离

    本文提出了一种使用深度神经网络架构的单通道源分离方法，通过在分离过程中确定 DNN 来分类估计的源谱图以检查其有效性，并将混合信号频谱鼓励写成估计的源谱图的加权和，实现了单通道源分离问题的能量最小化。

    Nov, 2013

  • 自监督对比学习中的空间声音事件表征探索

    通过多通道对比学习框架（MC-SimCLR），本研究展示了一个简单的方法来对空间音频的 'what' 和 'where' 进行编码。通过从无标签的空间音频中学习联合的频谱和空间表示，MC-SimCLR 能够在事件分类和声音定位等下游任务中提高效果。

    Sep, 2023