基于 Bi-LSTM 评分和凝聚层次聚类 (AHC) 的说话人分离相似度测量

May, 2022

基于 Bi-LSTM 评分和凝聚层次聚类 (AHC) 的说话人分离相似度测量

Bi-LSTM Scoring Based Similarity Measurement with Agglomerative Hierarchical Clustering (AHC) for Speaker Diarization

Siddharth S. Nijhawan, Homayoon Beigi

TL;DR本文提出了一种基于双向 LSTM 网络的语音分割与边界检测方法，用于解决多个人同时说话时 PLDA 算法无法考虑语音结构，容易出错的问题，实验表明该方法在 ICSI 会议语音数据集上的 Diarization Error Rate 可降低至 34.80%。

Abstract

Majority of speech signals across different scenarios are never available with well-defined audio segments containing only a single speaker. A typical conversation between two speakers consists of segments where their voices overlap, interrupt each other or halt their speech in between multiple sentences. Recent advancements in diarization technology leverag

speech diarization neural networks similarity matrix clustering diarization error rate

发现论文，激发创造

重叠感知的端到端监督层次图聚类用于发言人分离

通过图神经网络的端到端监督分层聚类算法（E-SHARC）可以改善目前状态下的说话人辨别系统，特别是在重叠语音区域的预测上。

Jan, 2024

说话人分离的概率嵌入

利用从短时间内的语音中提取的说话人 embedding（x-vectors）在说话人辨识任务中进行了竞争性表现，本文在该方案中提取了对角精度矩阵，用于衡量声音质量，并构建了概率说话人 embedding，将其作为输入应用于 AHC 算法用于辨识，接口与 PLDA 模型，实现对参数进行联合判别训练，与基础算法相比提高了精度。

Apr, 2020

粘性 HDP-HMM 及其在说话人分离中的应用

采用贝叶斯非参数方法，利用层次狄利克雷过程隐马尔可夫模型（HDP-HMM）解决会议音频数据的说话人分离问题，提出了增强的 HDP-HMM 模型以控制状态切换速率和实现发射分布的非参数处理，以及利用 Dirichlet 过程的截断逼近提高混合速率的采样算法，与 Benchmark NIST 数据集的实验结果表明，我们的方法取得了最优的结果。

May, 2009

分布式物联网网络中使用联邦学习的无监督说话人分离

该论文提出了一种计算效率高且分布式的网络 IoT 音频设备的说话人分离框架。通过提出的联邦学习模型，可以识别对话中的参与者，无需大型音频数据库进行训练。通过余弦相似度的无监督在线更新机制，解决了联邦学习模型的问题。此外，该论文提出的分离系统通过使用 Hotelling 的 t 平方统计和贝叶斯信息准则的无监督分割技术解决了说话人变化检测问题。该方法通过检测到的准静音来偏置说话人变化检测，从而减少漏检和误检率之间的权衡。通过无监督的语音片段聚类，降低了逐帧说话人识别的计算开销。实验结果表明，该训练方法在非独立同分布的语音数据中具有良好的效果。在分割阶段，该方法显著减少了误检和漏检，并降低了计算开销。准确性提高和计算成本降低使该机制适用于分布式 IoT 音频网络中的实时说话人分离。

Apr, 2024

使用 LSTM 进行说话者分离

本文介绍一种基于 d-vectors 的说话者辨识方法，将 LSTM-based 的 d-vector audio embeddings 与非参数聚类相结合，实现了最新的说话者辨识系统，与传统 i-vector 系统相比，取得了更好的结果。

Oct, 2017

使用深度聚类的单通道多说话者声音分离

本文使用基于深度学习的深度聚类方法及信号逼近技术，改进基线深度聚类算法，显著补偿了音频信号分离中的低信噪比问题，实现了在多说话人场景下的语音信号分离，通过自动语音识别实验，该算法在混响背景下将语音识别错误率从 89.1% 降至 30.8%，有效解决了鸡尾酒会效应问题。

Jul, 2016

基于圆谐特征的多麦克风会议自动语音分割

本文提出了一种在远距离语音场景下解决语音分割任务，包括 VAD、OSD 和 SCD 的通用框架，使用 CH-DOA 提取的空间特征与标准声学特征相结合，实验证明可以提高分割效果，并且在停用麦克风的情况下仍然具有鲁棒性。

Jun, 2023

研究说话人分谱的置信度估计方法

研究论文通过对扬声器判别系统的分析，探讨了生成对下游系统有竞争力且能够在置信度得分最低的部分区间内隔离约 30% 扬声器判别错误的多种方法。

Jun, 2024

2023 年位移式演讲者脱机化挑战的系统描述

这篇论文描述了我们对会话环境中演讲者和语言进行辨认的解决方案，我们使用了语音活动检测、基于 Resnet 架构的 CNN 进行特征提取以及基于谱聚类的特征聚类。尽管未使用印地语进行训练，所描述的算法在数据集的开发和阶段 1 评估部分获得了 DER 分别为 27.1% 和 27.4% 的指标。

Jun, 2024

探索口语理解中有关说话人信息以改进说话人分离

本文介绍了一种从多方会议的语义内容中提取与讲话者相关信息进而改进说话人分离方法的方法，提出了两个子任务（对话检测和发言者切换检测）来有效地从对话语义中提取讲话者信息，并提出了一种简单而有效的算法来联合建模声学和语义信息并获得标识讲话者的文本。实验结果表明，我们的方法在 AISHELL-4 和 AliMeeting 数据集上相对于仅声学的说话人分离系统都有显著的改进。

May, 2023