Apr, 2020

说话人分离的概率嵌入

PDF
TL;DR利用从短时间内的语音中提取的说话人 embedding（x-vectors）在说话人辨识任务中进行了竞争性表现，本文在该方案中提取了对角精度矩阵，用于衡量声音质量，并构建了概率说话人 embedding，将其作为输入应用于 AHC 算法用于辨识，接口与 PLDA 模型，实现对参数进行联合判别训练，与基础算法相比提高了精度。
speaker embeddingsx-vectorsdiarizationplda modelprobabilistic embeddings
发现论文，激发创造
  • 基于 Bi-LSTM 评分和凝聚层次聚类 (AHC) 的说话人分离相似度测量

    本文提出了一种基于双向 LSTM 网络的语音分割与边界检测方法，用于解决多个人同时说话时 PLDA 算法无法考虑语音结构，容易出错的问题，实验表明该方法在 ICSI 会议语音数据集上的 Diarization Error Rate 可降低至 34.80%。

    May, 2022

  • 使用 LSTM 进行说话者分离

    本文介绍一种基于 d-vectors 的说话者辨识方法，将 LSTM-based 的 d-vector audio embeddings 与非参数聚类相结合，实现了最新的说话者辨识系统，与传统 i-vector 系统相比，取得了更好的结果。

    Oct, 2017

  • 隐式口语分片

    本研究探讨了利用深度学习的端到端 x - 向量方法进行语音流言分离的性能表现，并发现预训练的 wave2vec 嵌入可以提供近 30% 的错误率改进。

    Jun, 2023

  • 贝叶斯 HMM 聚类 x 向量序列（VBx）在说话人分离中的理论、实现和标准任务分析

    VBx diarization method achieves superior performance on CALLHOME, AMI, and DIHARDII datasets by using a Bayesian hidden Markov model to find speaker clusters in x-vector sequences, and efficient formulae for the VBx model are presented while highlighting the lack of a standardized evaluation protocol for the AMI dataset in this paper.

    Dec, 2020

  • 基于 PLDA 的说话人识别盲分数归一化方法

    该论文提出一种新的 PLDA 得分规范化技术来解决在说话人识别任务中，如果注册数据大小不同，则观察到性能下降的问题。该方法可以盲目地获取规范化参数，因此不需要额外的开发数据，并且在检测成本函数方面具有最优性。在 NIST SRE 2014 数据库上进行的实验表明，在混合注册人数条件下，准确性有所提高。

    Feb, 2016

  • 一种基于层次判别式 PLDA 的语音识别模型

    本文介绍了一种基于概率线性判别分析模型的口语语言识别方法，该模型通过提取音频样本的嵌入向量得出语音信号的语言，并基于层次方法和最大熵准则进行训练，结果表明该识别方法可以用于高度相关的语言中并具有鲁棒性。

    Jan, 2022

  • 稀疏 LDA 转换的说话人嵌入在目标说话人提取中的应用

    本文提出了一种基于简化说话人提示的目标说话人提取方法，通过在 SepFormer 模型中加入 X-vector、Xi-vector 和 LDA-transform 方法产生的新的说话人嵌入，显著提高了模型的性能。在 WSJ0-2mix 数据集上的实验结果表明，我们的方法的 SI-SDRi 可以达到 19.4 dB 和 PESQ 可以达到 3.78，比当前的 SOTA 模型有显著的改进，并提供了目前 WSJ0-2mix 最佳的 TSE 结果。

    Jan, 2023

  • 粘性 HDP-HMM 及其在说话人分离中的应用

    采用贝叶斯非参数方法，利用层次狄利克雷过程隐马尔可夫模型（HDP-HMM）解决会议音频数据的说话人分离问题，提出了增强的 HDP-HMM 模型以控制状态切换速率和实现发射分布的非参数处理，以及利用 Dirichlet 过程的截断逼近提高混合速率的采样算法，与 Benchmark NIST 数据集的实验结果表明，我们的方法取得了最优的结果。

    May, 2009

  • LDA2VEC：利用狄利克雷主题模型和词嵌入相结合

    本研究介绍了 lda2vec 模型，它可以联合学习文档层次上主题向量的 Dirichlet 分布与密集的单词向量，并且相对于连续的密集文档表示，可以产生更稀疏、可解释的文档混合分布。

    May, 2016

  • 自我监督的口语语言表示在语音语言分离中的应用

    在一个混合语言环境中，使用隐性框架的语音语言编组（LD）作为预处理系统是必要的。通过基于固定分割、基于变化点分割和 E2E 的三种框架，提出了三种实现 LD 的方法。而当使用微软 CS（MSCS）数据集时，使用 E2E 框架的隐性 LD 的性能下降至 60.4%，主要是由于 MSCS 和 TTSF-LD 数据集中辅助语言的单语片段持续时间的分布差异。因此，为解决这个问题，本研究提出了一种自监督的隐性语言表示方法，相对于 x-vector 表示，该方法实现了约 63.9% 的改进，并在 E2E 框架下取得了 21.8 的 JER。

    Aug, 2023