MMDec, 2019

使用控制延迟的 BLSTM 进行单通道多说话人语音分离的语音级置换不变训练

PDF
TL;DR本文提出使用延迟控制的 BLSTM (LC-BLSTM) 以在推理期间完成低延迟和良好性能的语音分离，并发现在使用 LC-BLSTM 期间，uPIT 优于 cPIT，进一步通过跨块说话者跟踪（ST）可以提高 uPIT-LC-BLSTM 的分离性能，并且在 WSJ0 两个人混音语音分离任务中评估，uPIT-BLSTM 和 uPIT-LC-BLSTM 之间的信号失真比（SDR）的绝对差距缩小到 0.7dB 以内。
发现论文，激发创造
  • 基于深度递归神经网络的话语级别不变置换训练的多说话者语音分离

    本文提出了逐句级别的置换不变训练（uPIT）技术，利用循环神经网络实现了多说话人语音分离，无需事先了解信号时长、说话人数量、身份和性别，且模型具有很好的泛化性能，在实验中表现优异。

    Mar, 2017

  • 面向说话人不可知的多人语音分离的深度模型置换不变训练

    本研究提出了一种新的深度学习模型，用于解决语音分离的 Cocktail-party 问题，它支持排列不变训练（PIT），实验表明 PIT 的有效性可以解决语音分离中的标签置换问题，从而实现自动会议记录和多方人机交互等的应用。

    Jul, 2016

  • 使用置换不变训练技术识别多说话者语音

    本文提出了一种新的技术，通过排列不变训练 (PIT) 来直接识别混合语音中的多个语音流，解决了标签置换和说话人追踪问题。

    Mar, 2017

  • 采用置换不变训练的单通道多说话人语音识别

    本文探讨了如何通过扩展置换不变训练（PIT）方法并引入前端特征分离模块（最小均方误差标准）和后端识别模块（最小交叉熵标准），解决在多说话人混合语音识别中的问题，并且在 AMI 数据集（包括二人和三人的混音语音）的实验中，相对于同类不同说话人的语音识别系统，识别率提高了 45% 和 25%。

    Jul, 2017

  • 优化置换训练的多说话人单通道语音分离

    本研究提出一种使用匈牙利算法进行排列不变训练的神经语音分离方法，可以高效地处理多达 20 个说话者的语音数据。

    Apr, 2021

  • 无监督单通道重叠语音识别中的渐进联合建模

    提出一种基于模块化结构、渐进式预训练、转移学习以及鉴别性训练标准的神经网络模型，相较于现有模型，该模型在解决无监督单通道重叠语音识别方面表现更为优秀，能够取得超过 30% 的远程词错误率相对改进。

    Jul, 2017

  • 使用双向 LSTM 进行犹豫检测

    本文提出了一种利用双向 LSTM 神经网络进行自修复检测的方法，并使用模式匹配特征来降低对于词汇量的敏感度，提高了模型的性能。实验结果表明，在 Switchboard 语料库中，模型在标准的自修复检测任务和纠正检测任务中均表现出了出色的性能，特别是将非重复性的自修复鉴别效果提升明显。

    Apr, 2016

  • 双向长短时记忆模型与辅助损失实现的多语言词性标注

    本研究采用词、字符和 Unicode 字节嵌入比较 bi-LSTM 和传统的 POS 标注器，在 22 种语言中取得了最优性能，并表明 bi-LSTM 对于训练数据大小和标签污染的敏感度被过高估计。

    Apr, 2016

  • 学习主导性的序列输出训练

    通过在注意力编码器 - 解码器架构中引入辅助模块，自动识别多讲话者语音输出序列的关键因素，本研究提出了一种基于模型的串行化策略。实验结果表明，在 LibriSpeech 和 LibriMix 数据库上，我们的方法在 2 个混合和 3 个混合情况下显著超越了 PIT 和 FIFO 基准。进一步分析显示，串行化模块通过音量和性别等因素识别混合中的主要语音成分，并根据优先级得分对语音成分进行排序。

    Jul, 2024

  • 无需转写的噪声和混响多说话人自动语音识别的语音分离模型微调

    该论文提出了一种无需参考文本信息的联合训练方法，利用预训练的自动语音识别编码器的嵌入差异作为损失，通过改进的排列不变训练（PIT）方法 —— 引导式 PIT（GPIT），在不同度量指标上取得了 6.4% 的词错误率（WER）改善和感知度量指标（如短时客观清晰度）的提升。

    Jun, 2024