Apr, 2019

分治法：一种深度 C 语音增强方法用于说话人无关的单声道扬声器分离

PDF
TL;DR本研究从深度学习和计算听觉场景分析（CASA）的角度来处理与说话者无关的单声道扬声器分离问题。研究中，我们将多扬声器分离任务分解为同时分组和顺序分组两个阶段，并使用神经网络实现这两个阶段的分离。实验表明，这种方法在小型模型的情况下取得了最先进的结果。
发现论文，激发创造
  • 基于对比学习和深度模块化的语音分离

    研究使用对比学习建立框架的表示，并使用学到的表示在下游深度模块化任务中，自监督学习以最小化属于给定说话者的框架之间的距离，以进行语音分离。通过 WSJ0-2mix 和 WSJ0-3mix 的评估，该技术的性能不会随着说话者数量的增加而显着降低。

    May, 2023

  • 无预训练的端到端单声道多说话人 ASR 系统

    本文提出了一种最先进的单声道多说话者端到端自动语音识别模型，通过利用单个注意力模块为每个分离的说话者和调度抽样进一步提高性能，实验表明该方法可以在分离重叠的语音和识别分离的流方面提高端到端模型的性能。

    Nov, 2018

  • 实时双耳语音分离并保留空间提示

    本文提出了一种基于 TasNet 的多输入多输出的语音分离算法，该算法能够保留声源的空间信息，实现实时修改声学场景，并在不同声学场景中显著改善分离性能并保持位置感知。

    Feb, 2020

  • 未知发言者数量的递归语音分离

    该论文提出了一种用于未知扬声器数量的单通道扬声器非特定多扬声器语音分离方法，其中引入了排列不变训练，使模型具有递归性，并且通过使用基于深度神经网络的分类器进行递归分离来更准确地估计混音中扬声器数量，从而在 WSJ0-2mix 和 WSJ0-3mix 数据集上实现了最先进的结果，具有可扩展性和准确性。

    Apr, 2019

  • 未知数量多方讲话者的声音分离

    我们提出了一种使用门控神经网络在多个处理步骤中训练以将不同数量的混合说话人分离的新方法，该方法在保持每个输出通道中的说话人不变的同时。我们为每个可能的说话人数量训练了不同的模型，并使用具有最多说话人数的模型来选择给定样本中的实际说话人数。该方法在音频分离方面远远超过当前的技术水平，特别是在超过两个说话人的情况下。

    Feb, 2020

  • 基于深度吸引子网络的说话人无关语音分离

    提出了一种新的深度学习框架来解决混合谱中时域 - 频域混淆的问题并有效恢复说话者语音，其中将混合信号的时频表示投影到高维嵌入空间，并为每个说话者创建一个参考点吸引器，并将说话者的嵌入向量强制聚集到其相应的吸引器点附近，该方法在 Wall Street Journal 数据集上表现出与其他最先进的深度学习方法相媲美甚至更好的性能。

    Jul, 2017

  • 寻找鸡尾酒会中的发言者：一种基于音视频模型的独立演讲分离方法

    我们提出了一种联合音频 - 视觉模型，用于从包括其它说话者和背景噪声在内的混合声音中分离单个语音信号，并且利用深度学习和 AVSpeech 数据集，实现了人脸指定后的语音分离任务，相较于仅使用音频的方法，在多说话人的情况下表现出更好的效果。

    Apr, 2018

  • 使用深度聚类的单通道多说话者声音分离

    本文使用基于深度学习的深度聚类方法及信号逼近技术，改进基线深度聚类算法，显著补偿了音频信号分离中的低信噪比问题，实现了在多说话人场景下的语音信号分离，通过自动语音识别实验，该算法在混响背景下将语音识别错误率从 89.1% 降至 30.8%，有效解决了鸡尾酒会效应问题。

    Jul, 2016

  • 会议在线发言人分化的语音分离指导

    我们介绍了一种新的基于语音分离引导的在线发言人分化方案，适用于持续变动的说话人数量的长时间会议录音。

    Jan, 2024

  • 深度音视频语音增强对话

    本文提出了一种深度视听语音增强网络方法，借助于对应视频中的嘴唇信息，能够在多人同时说话的情境下，从语音信号中分离出个人的发言，该方法适用于训练时未涉及到的说话者，并在不受限制的环境下，展现了出色的定量和定性效果。

    Apr, 2018