Sep, 2018

Conv-TasNet: 超越理想的时间 - 频率幅度掩蔽技术，实现语音分离

PDF
TL;DR该论文介绍了一个名为 Conv-TasNet 的深度学习框架，可用于端到端的语音分离，通过一系列线性编码器和加权函数（掩码），Conv-TasNet 可以显著地提高两个和三个扬声器混合声音的分离能力，并优于多种时间 - 频率掩码方法和经过主观和客观质量评估的最佳时间 - 频率幅度掩码，对于离线和实时语音分离应用都有较小的模型尺寸和更短的最小延迟。
speech separationconv-tasnettime-domaindeep learningspeaker-independent
发现论文，激发创造
  • TasNet: 用于实时单声道语音分离的时域音频分离网络

    本文针对多说话人环境下的鲁棒语音处理，提出了使用时域音频分离网络 (TasNet) 直接对信号进行建模，通过编码器输出估计源掩码、并经过解码器进行合成的方法，该方法适用于实时应用，并能在低功耗情况下完成语音分离任务，是当前最先进的语音分离算法之一。

    Nov, 2017

  • Conv-TasNet 的实证研究

    本文对 Conv-TasNet 进行了实证研究，并提出了基于非线性变体的编码器 / 解码器改进方法，实验表明这种改进可以将平均 SI-SNR 性能提高 1 dB 以上。此外，我们还探讨了 Conv-TasNet 的泛化能力和改进编码器 / 解码器的潜在价值。

    Feb, 2020

  • 基于展开迭代相位重建的端到端语音分离

    本研究提出了一种基于深度学习的端到端方法用于解决单通道无特定说话人的多人语音分离问题，通过利用时间 - 频率的掩蔽，短时傅里叶变换以及它的逆变换嵌入到深层网络中，通过在重建信号上直接计算损失函数来解决之前存在的位移不一致导致的重构误差问题，同时通过多次展开的反相位恢复算法进行训练，使用新的激活函数允许掩蔽值超过 1， 在公开可用的数据集上取得了目前最先进的分离效果。

    Apr, 2018

  • 基于可变形时间卷积神经网络的单声道嘈杂混响语音分离

    本研究提出了一种新的方法，使用可变形卷积解决了语音分离领域中存在固定跨度的问题，通过应用此方法，研究人员获得了优秀的性能。

    Oct, 2022

  • 关于嘈杂多信道语音分离中的时域 Conformer 模型

    语音分离对于多说话者技术研究人员来说仍然是一个重要的课题。卷积增强变换器（conformers）在许多语音处理任务中表现良好，但在语音分离方面研究较少。最近的最新分离模型一直是时域音频分离网络（TasNets）。一些成功的模型利用了双路径（DP）网络，这些网络顺序处理本地和全局信息。时域 conformers（TD-Conformers）是 DP 方法的一种类似方式，它们也顺序处理本地和全局上下文，但时间复杂性函数不同。结果表明，在现实中较短的信号长度下，控制特征维度时 conformers 更有效。提出了子采样层以进一步提高计算效率。最佳的 TD-Conformer 在 WHAMR 和 WSJ0-2Mix 基准测试上分别实现了 14.6 dB 和 21.2 dB 的 SISDR 改进。

    Oct, 2023

  • 时域音视频语音分离

    本文介绍了一种新的时间域音视图架构，用于从单声道混合物中提取目标说话人，实验结果表明，相比于仅有声音的 TasNet 和频域音 - 视网络，我们的方法在两个和三个说话人的情况下分别可以提供 3dB + 和 4dB + 的信噪比改进。

    Apr, 2019

  • 探索基于时域卷积网络的 DNN 语音增强的最佳损失函数

    本文比较了基于短时傅里叶变换和时间域音频分离网络的两种不同的语音增强算法在不同数据集上的效果，提出了利用问题无关语音编码器特征的基于 STFT 的语音增强算法，通过在 Voice Bank+DEMAND 数据集上的实验验证，证明了该方法的有效性并在 DNS Challenge 数据集上表现出色，同时也开源了低延迟版本的 TasNet 算法。

    May, 2020

  • 通用音频分离

    该研究使用深度学习模型进行了基于掩蔽的语音信号增强和分离任务的研究，并尝试将其应用到任意类型混音的分离任务中，即通用声音分离。在此过程中，作者比较了不同的分析合成基础和网络结构，其中长短时记忆网络和时延卷积堆栈是采用时间域增强网络（ConvTasNet）的架构，对于后者，作者还提出了一些新的改进方法来进一步提高分离性能。最后，作者的研究表明，短时傅立叶变换（STFT）在通用声音分离方面表现优异，而在语音 / 非语音分离方面，长窗口的 STFT（25-50 毫秒）效果明显好于短窗口（2.5 毫秒），对于可学习的基础来说，短窗口（2.5 毫秒）一直是最佳选择。作者的最佳 方法在语音 / 非语音分离和通用声音分离方面都取得了显著的信号失真比的提高。

    May, 2019

  • 时空神经滤波器：方向感知的端对端多通道目标语音分离

    本文提出了一种时空神经滤波器，通过方向信息的辅助作用，从具有混响的多人语音混合物中直接估计目标语音波形，以提高目标和干扰源之间的时域、频域和空域可辨识度，并设计了一种全卷积自动编码器框架用于快速和端到端的语音分离处理。

    Jan, 2020

  • CasNet: 探究语音分离的通道稳健性

    该研究介绍了一种建立在深度学习框架上的端到端时间域语音分离方法，称作基于通道感知音频分离网络 (CasNet)，其中引入由通道编码器生成的通道嵌入来解决混合语音中的通道问题，实验结果表明使用此方法的 CasNet 比传统无通道嵌入的 TasNet 有更好的效果。

    Oct, 2022