Jun, 2024

研究说话人分谱的置信度估计方法

PDF
TL;DR研究论文通过对扬声器判别系统的分析，探讨了生成对下游系统有竞争力且能够在置信度得分最低的部分区间内隔离约 30% 扬声器判别错误的多种方法。
speaker diarization systemssegmentationconfidence scoresdiarization errorsspeech recognition
发现论文，激发创造
  • 衡量和评估讲话方规整度的方法

    本研究提出了一个分析讲话者分离公平性的新协议和评分方法，对性别、年龄、口音及发音时长等因素对讲话者分离结果的影响进行了大规模数据集实验，发现讲话者口音和性别会对分离结果产生偏见。

    Feb, 2023

  • 会议在线发言人分化的语音分离指导

    我们介绍了一种新的基于语音分离引导的在线发言人分化方案，适用于持续变动的说话人数量的长时间会议录音。

    Jan, 2024

  • 探索口语理解中有关说话人信息以改进说话人分离

    本文介绍了一种从多方会议的语义内容中提取与讲话者相关信息进而改进说话人分离方法的方法，提出了两个子任务（对话检测和发言者切换检测）来有效地从对话语义中提取讲话者信息，并提出了一种简单而有效的算法来联合建模声学和语义信息并获得标识讲话者的文本。实验结果表明，我们的方法在 AISHELL-4 和 AliMeeting 数据集上相对于仅声学的说话人分离系统都有显著的改进。

    May, 2023

  • 常见在线说话者对话方法综述

    在线说话者辨识提供了 “谁何时说话” 的答案，可用于完成音频转录和后续处理步骤；本文概述了在线说话者辨识的历史、训练与评估数据集，详细讨论了在线辨识方法与系统，并提出了该领域需要未来研究解决的挑战。

    Jun, 2024

  • 面向短语对话扬声器辨别挑战的 TSUP 扬声器分离系统

    该论文描述了 TSUP 团队在 ISCSLP 2022 CSSD 挑战赛中的参赛表现和关键研究成果，侧重于短话语音者分离与新的评价指标 CDER。SC 方法是最受欢迎的方法并且所有的三种语音者分离系统都需要调参，最后 SC 系统的表现居于第三名。

    Oct, 2022

  • 实时说话人分离的时间自训练

    该研究使用时间排序的自我训练方法，证明只使用 1 秒的样本训练可以将语音流分为不同的讲话者，并在多种语言中将错误率降低至 10% 以下。

    Aug, 2022

  • 2020 年 VoxCeleb 说话人识别大赛微软说话人分离系统

    本文介绍了 Microsoft 公司的单声道多人对话录音扬声器辨识系统，并用 VoxCeleb 挑战赛 2020 年的说话人辨识赛道进行了评估。论文首先介绍了解决真实多人对话记录中的问题的系统设计。然后介绍了组件的细节，其中包括 Res2Net 基于说话人嵌入提取器，基于 conformer 的连续语音分离和泄漏过滤，以及修改后的 DOVER 方法用于系统融合。使用 VoxSRC challenge 2020 提供的数据集进行系统评估。我们的最佳系统在开发集上的辨识错误率（DER）为 3.71％，在评估集上的 DER 为 6.23％，并在挑战的辨识赛道上排名第一。

    Oct, 2020

  • 动态尺度加权多尺度说话人分离

    本研究提出基于多尺度解码器的高级多尺度语者分离系统，通过多尺度聚类初始化估计讲话人数和每个尺度的平均发言者表示向量，使用 1-D 卷积神经网络动态决定每个时间步长上每个尺度的重要性，抑制了时间分辨率和发言者表示保真度之间的平衡问题。该系统可以估计存在的说话人数和在 CALLHOME 和 AMI MixHeadset 数据集上实现了业界领先的性能，分别为 3.92% 和 1.05% 的对白错误率。

    Mar, 2022

  • 多方对话中的协议检测：以演讲者划分和程序基准评估来增强用户参与

    这项研究使用合作性问答来比较确定协议的分离或基于频率和接近度的方法，以及它们对玩家参与度的影响。实验结果表明，我们的程序系统在检测协议方面更精确，达到平均准确率 0.44，而使用分离系统的准确率仅为 0.28。

    Nov, 2023

  • 词汇发音者错误更正：利用语言模型进行发音者离话错误更正

    本篇论文探讨了使用语言模型的 Speaker diarization second-pass error correction approach 引入词汇信息，可以有效且稳健地提高多个电话数据集上的单词级别 Diarization 错误率（WDER）降低 15％至 30％。

    Jun, 2023