Oct, 2023

关于嘈杂多信道语音分离中的时域 Conformer 模型

PDF
TL;DR语音分离对于多说话者技术研究人员来说仍然是一个重要的课题。卷积增强变换器（conformers）在许多语音处理任务中表现良好，但在语音分离方面研究较少。最近的最新分离模型一直是时域音频分离网络（TasNets）。一些成功的模型利用了双路径（DP）网络，这些网络顺序处理本地和全局信息。时域 conformers（TD-Conformers）是 DP 方法的一种类似方式，它们也顺序处理本地和全局上下文，但时间复杂性函数不同。结果表明，在现实中较短的信号长度下，控制特征维度时 conformers 更有效。提出了子采样层以进一步提高计算效率。最佳的 TD-Conformer 在 WHAMR 和 WSJ0-2Mix 基准测试上分别实现了 14.6 dB 和 21.2 dB 的 SISDR 改进。
speech separationconvolution augmented transformerstime-domain audio separation networksdual-path networkstime domain conformers
发现论文，激发创造
  • 基于可变形时间卷积神经网络的单声道嘈杂混响语音分离

    本研究提出了一种新的方法，使用可变形卷积解决了语音分离领域中存在固定跨度的问题，通过应用此方法，研究人员获得了优秀的性能。

    Oct, 2022

  • 使用 Conformer 进行连续语音分离

    本文研究使用 Transformer 和 Conformer 代替递归神经网络在语音分离领域中来提取单个说话者的混合语音，以连续语音分离为主要研究方向，通过在 LibriCSS 数据集上的实验，证明所提模型在语音分离任务中具有最优表现。

    Aug, 2020

  • Conformer: 卷积增强变压器（Convolution-augmented Transformer）用于语音识别

    本文提出了一种名为 Conformer 的语音识别（Automatic Speech Recognition）模型，结合了 Transformer 和卷积神经网络 (Convolution neural network) 的优点，在参数更少的情况下实现对于语音序列的局部和全局依赖的建模，并在 LibriSpeech benchmark 测试中取得了 2.1%/4.3%（未使用语言模型）和 1.9%/3.9%（使用外部语言模型）的字错率（Word Error Rate），表现超越了之前的基于 Transformer 和 CNN 的模型。

    May, 2020

  • Conv-TasNet: 超越理想的时间 - 频率幅度掩蔽技术，实现语音分离

    该论文介绍了一个名为 Conv-TasNet 的深度学习框架，可用于端到端的语音分离，通过一系列线性编码器和加权函数（掩码），Conv-TasNet 可以显著地提高两个和三个扬声器混合声音的分离能力，并优于多种时间 - 频率掩码方法和经过主观和客观质量评估的最佳时间 - 频率幅度掩码，对于离线和实时语音分离应用都有较小的模型尺寸和更短的最小延迟。

    Sep, 2018

  • 基于 Conformer 的单声道音频目标说话人自动语音识别

    我们提出了 CONF-TSASR，这是一种非自回归的端到端时间 - 频率域架构，用于单通道目标人说话者自动语音识别（TS-ASR）。该模型包括基于 TitaNet 的说话者嵌入模块，基于 Conformer 的掩蔽和 ASR 模块，通过联合优化这些模块来转录目标说话者的语音，忽略其他讲话者的语音。通过使用连接主义时间分类（CTC）损失进行训练，并引入一种比例不变的频谱重建损失来鼓励模型更好地将目标说话者的频谱与混合音频分离。在 WSJ0-2mix-extr（4.2％）数据集上，我们获得了最先进的目标说话者词错误率（TS-WER）。此外，我们首次报告了 WSJ0-3mix-extr（12.4％），LibriSpeech2Mix（4.2％）和 LibriSpeech3Mix（7.6％）数据集上的 TS-WER，为 TS-ASR 建立了新的基准。所提出的模型将通过 NVIDIA NeMo 工具包开源。

    Aug, 2023

  • TasNet: 用于实时单声道语音分离的时域音频分离网络

    本文针对多说话人环境下的鲁棒语音处理，提出了使用时域音频分离网络 (TasNet) 直接对信号进行建模，通过编码器输出估计源掩码、并经过解码器进行合成的方法，该方法适用于实时应用，并能在低功耗情况下完成语音分离任务，是当前最先进的语音分离算法之一。

    Nov, 2017

  • 基于 Conformer 的鲁棒自动语音识别模型

    本研究采用基于 Conformer 的声学模型解决了自动语音识别中的鲁棒性问题，并在 CHiME-4 语料库的单声道 ASR 任务中经过测试，其使用 utterance-wise 归一化和说话人自适应的方式，相比经典的 wide residual 双向长短时记忆网络，减小了 18.3% 的模型大小，训练时间减少了 79.6％且相对误差率比 WRBN 低 8.4%。

    Mar, 2022

  • Dual-Path Transformer Network: 直接上下文感知建模的端到端单声道语音分离

    本研究提出一种双路径变换网络（DPTNet）进行端到端语音分离，引入了直接上下文感知建模。改进的变换器使元素之间可以直接交互，并且双路径结构使得模型效率更高，实验结果表明，我们的方法优于当前最先进的模型（公共 WSj0-2mix 数据集上的 20.6 dB SDR）。

    Jul, 2020

  • ESPnet 工具包的最新进展: Conformer 技术的推动

    本文介绍了 ESPnet 工具包中的最新成果，包括基于 Conformer 的新型架构的应用于自动语音识别、语音翻译、语音分离和文本转语音等各种任务的实验结果，具备高性能且与现有的 Transformer 模型相竞争性或超越其成果；同时我们通过公开的语料库和预训练模型减轻了之前模型搭建过程中的资源负担。

    Oct, 2020

  • HyperConformer：用于高效语音识别的多头超级混合器

    本文介绍了一种名为 HyperConformer 的语音识别结构，它通过引入高效的 HyperMixer 机制，实现了对于长输入序列较为经济的全局交互建模，并在可获得的训练数据限制下达到与或高于传统结构 Conformer 相似的识别表现。

    May, 2023