Oct, 2022

CasNet: 探究语音分离的通道稳健性

PDF
TL;DR该研究介绍了一种建立在深度学习框架上的端到端时间域语音分离方法，称作基于通道感知音频分离网络 (CasNet)，其中引入由通道编码器生成的通道嵌入来解决混合语音中的通道问题，实验结果表明使用此方法的 CasNet 比传统无通道嵌入的 TasNet 有更好的效果。
speech separationchannel mismatchdeep learningaudio separationtat-2mix
发现论文，激发创造
  • TasNet: 用于实时单声道语音分离的时域音频分离网络

    本文针对多说话人环境下的鲁棒语音处理，提出了使用时域音频分离网络 (TasNet) 直接对信号进行建模，通过编码器输出估计源掩码、并经过解码器进行合成的方法，该方法适用于实时应用，并能在低功耗情况下完成语音分离任务，是当前最先进的语音分离算法之一。

    Nov, 2017

  • Conv-TasNet 的实证研究

    本文对 Conv-TasNet 进行了实证研究，并提出了基于非线性变体的编码器 / 解码器改进方法，实验表明这种改进可以将平均 SI-SNR 性能提高 1 dB 以上。此外，我们还探讨了 Conv-TasNet 的泛化能力和改进编码器 / 解码器的潜在价值。

    Feb, 2020

  • Conv-TasNet: 超越理想的时间 - 频率幅度掩蔽技术，实现语音分离

    该论文介绍了一个名为 Conv-TasNet 的深度学习框架，可用于端到端的语音分离，通过一系列线性编码器和加权函数（掩码），Conv-TasNet 可以显著地提高两个和三个扬声器混合声音的分离能力，并优于多种时间 - 频率掩码方法和经过主观和客观质量评估的最佳时间 - 频率幅度掩码，对于离线和实时语音分离应用都有较小的模型尺寸和更短的最小延迟。

    Sep, 2018

  • 语言和信道变异对语音分离网络影响的分解

    本文研究语音分离的问题，发现不同语言对模型的影响可忽略，而采用安卓手机录制的数据进行训练可以得到最好的泛化性能。同时，作者提出了一种针对信道不匹配的新的解决方案，通过测量信道相似性并选择合适的训练数据，可以有效提高模型在实际测试数据上的性能。

    Mar, 2022

  • 面向鲁棒语音识别的语音增强和噪音感知网络

    提出了一个基于噪声感知的训练框架，将增强语音引入到声学模型的多条件训练中，通过两个级联的神经结构来优化增强语音和语音识别，并取得了较好的实验结果。

    Mar, 2022

  • 实时双耳语音分离并保留空间提示

    本文提出了一种基于 TasNet 的多输入多输出的语音分离算法，该算法能够保留声源的空间信息，实现实时修改声学场景，并在不同声学场景中显著改善分离性能并保持位置感知。

    Feb, 2020

  • 时域音视频语音分离

    本文介绍了一种新的时间域音视图架构，用于从单声道混合物中提取目标说话人，实验结果表明，相比于仅有声音的 TasNet 和频域音 - 视网络，我们的方法在两个和三个说话人的情况下分别可以提供 3dB + 和 4dB + 的信噪比改进。

    Apr, 2019

  • 实时低延迟音乐源分离使用混合的谱图 - TasNet

    通过借鉴 Hybrid Demucs 架构，本文提出了混合谱图时域音频分离网络（HS-TasNet），结合了频谱和波形域的优势，为实时低延迟的音乐应用展现了高效分离的潜力。

    Feb, 2024

  • 端到端麦克风排列和数量不变多通道语音分离

    本文提出 transform-average-concatenate (TAC) 一种简单的设计范式来进行通道置换和数量不变的多通道音频分离，并基于最近提出的端到端深度学习模型 FaSNet 来展示 TAC 如何显著提高在各种噪声和混响环境下的不同麦克风数量的音频分离任务中的性能。

    Oct, 2019

  • 终端到终端语音分离模型漏洞的实证分析

    通过对 ConvTasnet 和 DPT-Net 模型进行滤波等探究，揭示了基于谐波关系的语音分离端到端模型机制，发现这些网络在遭遇人类无法感知的变形时表现不佳，并且 pinpoints 编码器作为网络不稳定性的来源。

    Jun, 2022