Jul, 2019

WHAM!：将语音分离扩展至嘈杂环境

PDF
TL;DR本文旨在通过创建由两个讲话人混合的音频和真实环境噪声样本组成的 WSJ0 嬉皮士环境混合（WHAM！）数据集，对 speech separation 的性能进行更加真实和具有挑战性的评估和基准测试。虽然随着噪声的增加隔离性能下降，但对于大多数方法来说，与噪声信号相比，我们仍然观察到实质性的增益。
speech separationcocktail party problemambient noisewsj0 hipster ambient mixturesbenchmark
发现论文，激发创造
  • WHAMR!: 有噪声和混响的单通道语音分离

    本研究提出了 WHAMR!，它是 WHAM! 的一个增强版本，用于对语音分离系统的性能进行基准测试，包括反射。我们评估了当前的技术模型以及新引入的模型的性能。

    Oct, 2019

  • LibriMix：一个通用语音分离开源数据集

    本文介绍了一种解决训练数据与测试数据相似度低导致模型泛化性能下降的方法：设计了一个基于 LibriSpeech 的语音混合数据集 LibriMix，证明使用 LibriMix 训练的深度学习模型，在各种条件下比使用 WHAM! 训练的模型表现更优，为实现更真实的对话场景语音分离进行了探索。

    May, 2020

  • 通过说话人聚类的端到端语音分离算法 Wavesplit

    Wavesplit 是一种端到端的源分离系统，可以通过聚类推断每个源的表示，并给出估计的源信号，从而重新定义干净的混合 2 或 3 个讲话者（WSJ0-2/3mix）以及嘈杂和混响环境（WHAM/WHAMR）的最新技术水平。

    Feb, 2020

  • 寻找鸡尾酒会中的发言者：一种基于音视频模型的独立演讲分离方法

    我们提出了一种联合音频 - 视觉模型，用于从包括其它说话者和背景噪声在内的混合声音中分离单个语音信号，并且利用深度学习和 AVSpeech 数据集，实现了人脸指定后的语音分离任务，相较于仅使用音频的方法，在多说话人的情况下表现出更好的效果。

    Apr, 2018

  • 通用音频分离

    该研究使用深度学习模型进行了基于掩蔽的语音信号增强和分离任务的研究，并尝试将其应用到任意类型混音的分离任务中，即通用声音分离。在此过程中，作者比较了不同的分析合成基础和网络结构，其中长短时记忆网络和时延卷积堆栈是采用时间域增强网络（ConvTasNet）的架构，对于后者，作者还提出了一些新的改进方法来进一步提高分离性能。最后，作者的研究表明，短时傅立叶变换（STFT）在通用声音分离方面表现优异，而在语音 / 非语音分离方面，长窗口的 STFT（25-50 毫秒）效果明显好于短窗口（2.5 毫秒），对于可学习的基础来说，短窗口（2.5 毫秒）一直是最佳选择。作者的最佳 方法在语音 / 非语音分离和通用声音分离方面都取得了显著的信号失真比的提高。

    May, 2019

  • 混合不变训练下的单声道语音增强技术用于自动识别真实嘈杂语音

    本文提出了一个改进的训练框架，用于训练单声道神经增强模型，以提高鲁棒语音识别的性能。该框架利用现有混合不变训练准则，扩展了未配对的干净语音和真实嘈杂数据，提高了从真实嘈杂语音中分离出来的语音质量，并通过处理和未处理信号的混合来缓解处理伪影。该方法在单通道 CHiME-3 真实测试集上进行实验证明，在不重新训练扭曲数据的情况下，与在监督模式下使用不匹配的模拟数据或在无监督模式下使用匹配的真实数据训练的增强系统相比，相对 WER 减少了 16% 到 39%。

    May, 2022

  • 基于文本的任意声音分离

    本研究提出了一种方法，通过结合两种模型，即 SoundWords 和 SoundFilter 模型，以在共享的文本 - 音频表示法中定义的调节向量为基础，将目标声音源从单通道混合中分离出来，并证明了此多模式训练方法可以提高 SoundFilter 的性能。

    Apr, 2022

  • 神经网络语音分离模型训练中的数据采样策略

    本文研究了在语音分离模型中应用不同的训练信号长度的影响，发现特定分布情况下应用特定的训练信号长度会提高模型性能，同时使用动态混合和最佳信号长度训练的模型被证明具有最佳性能。

    Apr, 2023

  • 单声道多说话人语音分离使用高效 Transformer 模型

    鸡尾酒会问题是指从多个说话者的混合语音中分离或区分单个说话者变得困难的情境。本研究采用基于 Transformer 架构及其高效形式的语音分离模型，在 LibriMix 数据集上进行训练，该数据集包含多样的说话者语音。该模型能从混合音频输入中分离出两个不同的说话者源，实现了对语音分离模型计算复杂度的降低，并在性能与流行的语音分离模型之间取得了显著进展。该项目预计将为以计算效率为核心的语音分离领域的持续研究做出贡献。

    Jul, 2023

  • EasyCom：噪声环境下支持易于交流算法的增强现实数据集

    本文发现，缺少可用于训练和测试信号处理和机器学习算法的具有代表性的数据集，介绍并放出了一个包含超过 5 小时多模态数据的数据集，以便建立多模态 AR 方案以减少鸡尾酒会效应。

    Jul, 2021