Oct, 2019

端到端麦克风排列和数量不变多通道语音分离

PDF
TL;DR本文提出 transform-average-concatenate (TAC) 一种简单的设计范式来进行通道置换和数量不变的多通道音频分离，并基于最近提出的端到端深度学习模型 FaSNet 来展示 TAC 如何显著提高在各种噪声和混响环境下的不同麦克风数量的音频分离任务中的性能。
ad-hoc microphone speech separationrobustnessmicrophone indexingoptimization-based beamforming techniquestransform-average-concatenate
发现论文，激发创造
  • FaSNet：适应性低延迟波束成形技术在多麦克风音频处理中的应用

    提出了一种适用于低延迟场景的时域、基于过滤的波束成形方法 ——FaSNet，该方法可在含噪声和混响语音增强中表现出色，同时还可在 CHiME-3 数据集上通过训练基于频域目标函数的 FaSNet 模型实现与基准模型相比的相对字错误率降低 14.3%。

    Sep, 2019

  • 多通道端到端语音识别

    本研究论文扩展了端到端的框架，以包含麦克风阵列信号处理以进行噪声抑制和语音增强，并能够共同优化束形成和识别架构。实验结果表明，我们的多通道端到端系统在去噪和语音增强任务上表现更好。

    Mar, 2017

  • 端到端多通道语音分离

    本文提出了一种基于端到端的多通道语音分离模型，通过可学习空间特征的提出，在 WSJ0 远场语音分离任务中显著改进了单通道和传统多通道方法的性能。

    May, 2019

  • Conv-TasNet: 超越理想的时间 - 频率幅度掩蔽技术，实现语音分离

    该论文介绍了一个名为 Conv-TasNet 的深度学习框架，可用于端到端的语音分离，通过一系列线性编码器和加权函数（掩码），Conv-TasNet 可以显著地提高两个和三个扬声器混合声音的分离能力，并优于多种时间 - 频率掩码方法和经过主观和客观质量评估的最佳时间 - 频率幅度掩码，对于离线和实时语音分离应用都有较小的模型尺寸和更短的最小延迟。

    Sep, 2018

  • 统一多通道远场语音识别系统：将神经波束形成与基于注意力的端到端模型结合

    我们提出了一种统一的多通道远场语音识别系统，结合了神经波束成形和基于 Transformer 的 Listen，Spell，Attend（LAS）语音识别系统，进一步扩展了端到端语音识别系统以包含语音增强，并通过共同训练来优化最终目标。

    Jan, 2024

  • 时空神经滤波器：方向感知的端对端多通道目标语音分离

    本文提出了一种时空神经滤波器，通过方向信息的辅助作用，从具有混响的多人语音混合物中直接估计目标语音波形，以提高目标和干扰源之间的时域、频域和空域可辨识度，并设计了一种全卷积自动编码器框架用于快速和端到端的语音分离处理。

    Jan, 2020

  • 实时双耳语音分离并保留空间提示

    本文提出了一种基于 TasNet 的多输入多输出的语音分离算法，该算法能够保留声源的空间信息，实现实时修改声学场景，并在不同声学场景中显著改善分离性能并保持位置感知。

    Feb, 2020

  • 多麦克风距离语音识别中的听觉关注循环模型

    本文提出了一种神经注意力网络来直接合并多通道音频以生成语音状态，无需任何关于麦克风布置的先前知识或任何用于语音增强的显式信号预处理。

    Nov, 2015

  • 基于展开迭代相位重建的端到端语音分离

    本研究提出了一种基于深度学习的端到端方法用于解决单通道无特定说话人的多人语音分离问题，通过利用时间 - 频率的掩蔽，短时傅里叶变换以及它的逆变换嵌入到深层网络中，通过在重建信号上直接计算损失函数来解决之前存在的位移不一致导致的重构误差问题，同时通过多次展开的反相位恢复算法进行训练，使用新的激活函数允许掩蔽值超过 1， 在公开可用的数据集上取得了目前最先进的分离效果。

    Apr, 2018

  • 终端到终端语音分离模型漏洞的实证分析

    通过对 ConvTasnet 和 DPT-Net 模型进行滤波等探究，揭示了基于谐波关系的语音分离端到端模型机制，发现这些网络在遭遇人类无法感知的变形时表现不佳，并且 pinpoints 编码器作为网络不稳定性的来源。

    Jun, 2022