Dec, 2023

基于注意力的移动声源场景下的多通道语音增强

PDF
TL;DR当前的多通道语音增强算法通常假设声源是固定的，这与现实不符，限制了它们在实际场景中的性能。本文聚焦于为动态环境设计的基于注意力的空间滤波技术。具体地，我们研究了线性和非线性注意力方法在估计时变空间协方差矩阵以设计滤波器时的应用。我们还研究了通过注意力方法直接估计空间滤波器，而无需明确估计空间统计数据。使用 WSJ0 中的干净语音片段模拟在混响环境中移动发声者的语音信号生成实验数据集，其中混合了 CHiME-3 中的多通道真实噪声。评估结果表明，基于注意力的方法在静态和动态声音环境中均表现出鲁棒性，并始终优于传统的空间滤波方法。
multichannel speech enhancementattention-driven spatial filtering techniquestime-varying spatial covariance matricesdirect estimation of spatial filtersreverberant environment
发现论文，激发创造
  • 多麦克风距离语音识别中的听觉关注循环模型

    本文提出了一种神经注意力网络来直接合并多通道音频以生成语音状态，无需任何关于麦克风布置的先前知识或任何用于语音增强的显式信号预处理。

    Nov, 2015

  • 利用空间选择性深度非线性滤波器的多通道语音分离

    本文中我们提出了基于深度神经网络和循环神经网络的空间选择性滤波器 (SSF)，在多扬声器多声道分离任务中，可以从混合信号中提取出特定说话者的声音信息，并与直接分离方法进行了比较。结果表明，SSF 具有更好的空间信息利用和泛化能力。

    Apr, 2023

  • 时空神经滤波器：方向感知的端对端多通道目标语音分离

    本文提出了一种时空神经滤波器，通过方向信息的辅助作用，从具有混响的多人语音混合物中直接估计目标语音波形，以提高目标和干扰源之间的时域、频域和空域可辨识度，并设计了一种全卷积自动编码器框架用于快速和端到端的语音分离处理。

    Jan, 2020

  • 低资源说话者验证的动态核和通道注意力

    本文提出一种利用卷积神经网络中的基于注意力的动态卷积核来提高模型分辨率能力的方法，将模型参数适应于特征条件，通过通道注意力和多层特征聚合进一步提取全局语音特征，从而提高特征表示效果。实验结果表明，该方法在使用较少数据的情况下取得了良好的识别效果。

    Nov, 2022

  • 基于定位关系的注意力机制，用于强健的长篇语音合成

    本研究提出一种简单的位置相对注意力机制，可解决关注式端到端文本转语音系统在越领域文本中出现的文本对齐失败问题，并比较了 GMM-based 和加性能量 based 等两种注意力机制，最后验证 GMM attention 和动态卷积 attention (DCA) 机制对于非领域文本具有很好的泛化能力并能保持语音自然性。

    Oct, 2019

  • 深度音视频语音增强对话

    本文提出了一种深度视听语音增强网络方法，借助于对应视频中的嘴唇信息，能够在多人同时说话的情境下，从语音信号中分离出个人的发言，该方法适用于训练时未涉及到的说话者，并在不受限制的环境下，展现了出色的定量和定性效果。

    Apr, 2018

  • 统一多通道远场语音识别系统：将神经波束形成与基于注意力的端到端模型结合

    我们提出了一种统一的多通道远场语音识别系统，结合了神经波束成形和基于 Transformer 的 Listen，Spell，Attend（LAS）语音识别系统，进一步扩展了端到端语音识别系统以包含语音增强，并通过共同训练来优化最终目标。

    Jan, 2024

  • 实时双耳语音分离并保留空间提示

    本文提出了一种基于 TasNet 的多输入多输出的语音分离算法，该算法能够保留声源的空间信息，实现实时修改声学场景，并在不同声学场景中显著改善分离性能并保持位置感知。

    Feb, 2020

  • 多通道端到端语音识别

    本研究论文扩展了端到端的框架，以包含麦克风阵列信号处理以进行噪声抑制和语音增强，并能够共同优化束形成和识别架构。实验结果表明，我们的多通道端到端系统在去噪和语音增强任务上表现更好。

    Mar, 2017

  • 利用空间特征和卷积循环神经网络进行声音事件检测

    本文提出使用从多通道音频中提取的低级空间特征进行声音事件检测，通过初始阶段从每个通道中单独学习这些多通道特征，扩展了卷积递归神经网络以处理更多类型的这些特征，并表明将特征呈现为体积的单独层，而不是将每个通道的特征串联成单个特征向量，可以更好地学习多通道音频中的声音事件。与单声道特征相比，在相同网络上使用所提出的空间特征，在公开可用的 TUT-SED 2016 数据集上的 F-score 提高了 6.1％，在 TUT-SED 2009 数据集上的 F-score 提高了 2.7％，该数据集是其 15 倍大。

    Jun, 2017