Apr, 2019

未知发言者数量的递归语音分离

PDF
TL;DR该论文提出了一种用于未知扬声器数量的单通道扬声器非特定多扬声器语音分离方法，其中引入了排列不变训练，使模型具有递归性，并且通过使用基于深度神经网络的分类器进行递归分离来更准确地估计混音中扬声器数量，从而在 WSJ0-2mix 和 WSJ0-3mix 数据集上实现了最先进的结果，具有可扩展性和准确性。
speaker-independentmulti-speakerspeech separationpermutation invariant trainingspeaker detection
发现论文，激发创造
  • 优化置换训练的多说话人单通道语音分离

    本研究提出一种使用匈牙利算法进行排列不变训练的神经语音分离方法，可以高效地处理多达 20 个说话者的语音数据。

    Apr, 2021

  • 未知数量多方讲话者的声音分离

    我们提出了一种使用门控神经网络在多个处理步骤中训练以将不同数量的混合说话人分离的新方法，该方法在保持每个输出通道中的说话人不变的同时。我们为每个可能的说话人数量训练了不同的模型，并使用具有最多说话人数的模型来选择给定样本中的实际说话人数。该方法在音频分离方面远远超过当前的技术水平，特别是在超过两个说话人的情况下。

    Feb, 2020

  • 采用置换不变训练的单通道多说话人语音识别

    本文探讨了如何通过扩展置换不变训练（PIT）方法并引入前端特征分离模块（最小均方误差标准）和后端识别模块（最小交叉熵标准），解决在多说话人混合语音识别中的问题，并且在 AMI 数据集（包括二人和三人的混音语音）的实验中，相对于同类不同说话人的语音识别系统，识别率提高了 45% 和 25%。

    Jul, 2017

  • 面向说话人不可知的多人语音分离的深度模型置换不变训练

    本研究提出了一种新的深度学习模型，用于解决语音分离的 Cocktail-party 问题，它支持排列不变训练（PIT），实验表明 PIT 的有效性可以解决语音分离中的标签置换问题，从而实现自动会议记录和多方人机交互等的应用。

    Jul, 2016

  • 通过说话人聚类的端到端语音分离算法 Wavesplit

    Wavesplit 是一种端到端的源分离系统，可以通过聚类推断每个源的表示，并给出估计的源信号，从而重新定义干净的混合 2 或 3 个讲话者（WSJ0-2/3mix）以及嘈杂和混响环境（WHAM/WHAMR）的最新技术水平。

    Feb, 2020

  • 无预训练的端到端单声道多说话人 ASR 系统

    本文提出了一种最先进的单声道多说话者端到端自动语音识别模型，通过利用单个注意力模块为每个分离的说话者和调度抽样进一步提高性能，实验表明该方法可以在分离重叠的语音和识别分离的流方面提高端到端模型的性能。

    Nov, 2018

  • 基于深度递归神经网络的话语级别不变置换训练的多说话者语音分离

    本文提出了逐句级别的置换不变训练（uPIT）技术，利用循环神经网络实现了多说话人语音分离，无需事先了解信号时长、说话人数量、身份和性别，且模型具有很好的泛化性能，在实验中表现优异。

    Mar, 2017

  • 使用置换不变训练技术识别多说话者语音

    本文提出了一种新的技术，通过排列不变训练 (PIT) 来直接识别混合语音中的多个语音流，解决了标签置换和说话人追踪问题。

    Mar, 2017

  • SepIt: 接近单通道语音分离界限

    该研究提出了一种基于深度神经网络的单通道语音分离方法，该方法通过迭代估计进行不同说话人的音频信号分离，并通过互信息准则进行测试样本的迭代次数确定，实验结果表明该方法在单通道语音分离的 2, 3, 5 和 10 个说话人的情况下均优于现有的最先进模型。

    May, 2022

  • 混合编码器用于语音分离和识别

    该论文提出了一种基于中间地带的方法来处理多说话者语音识别，该方法既利用了情感识别模块类似于模块化方法的显式语音分离技术，又将混合语音信息直接纳入 ASR 模块，以减轻语音分离器所产生的错误传播，并且通过结合个体说话者信息的层来交换跨说话者的上下文信息。

    Jun, 2023