Aug, 2022

对话短语说话人分离任务（CSSD）：数据集，评估指标和基线

PDF
TL;DR文章介绍了一个新的对话说话人分离任务，即 CSSD 任务，提供了相关数据集和评估指标 CDER，并采用变分贝叶斯 HMM x-vector 系统作为 CSSD 任务的基准模型。
speaker diarizationevaluation metricconversational short-phrasescdertraining dataset
发现论文，激发创造
  • 面向短语对话扬声器辨别挑战的 TSUP 扬声器分离系统

    该论文描述了 TSUP 团队在 ISCSLP 2022 CSSD 挑战赛中的参赛表现和关键研究成果，侧重于短话语音者分离与新的评价指标 CDER。SC 方法是最受欢迎的方法并且所有的三种语音者分离系统都需要调参，最后 SC 系统的表现居于第三名。

    Oct, 2022

  • 连续语音分离：数据集与分析

    这篇论文通过建立新的 LibriCSS 数据集并制定一套 Kaldi 基础的 ASR 评估方法，对连续语音分离算法进行了评估和研究，以解决自然对话中语音分离的问题。

    Jan, 2020

  • 利用真实对话数据实现多渠道连续语音分离

    本研究提出一种可同时利用有标注数据和非标注数据进行连续语音分离模型训练的三阶段训练方案，并将其应用于任意麦克风阵列采集的多通道语音数据上取得了较好效果。

    Apr, 2022

  • 探索口语理解中有关说话人信息以改进说话人分离

    本文介绍了一种从多方会议的语义内容中提取与讲话者相关信息进而改进说话人分离方法的方法，提出了两个子任务（对话检测和发言者切换检测）来有效地从对话语义中提取讲话者信息，并提出了一种简单而有效的算法来联合建模声学和语义信息并获得标识讲话者的文本。实验结果表明，我们的方法在 AISHELL-4 和 AliMeeting 数据集上相对于仅声学的说话人分离系统都有显著的改进。

    May, 2023

  • SD-Eval: 口语对话理解的基准数据集超越文本

    为了评估和改进大型语言模型在口语对话理解和生成方面的能力，我们提出了 SD-Eval 标准数据集，该数据集聚合了代表情感、口音、年龄和背景声音的四个维度的 7,303 个话语，总计 8.76 个小时的语音数据，并通过客观和主观评估方法，以及基于大型语言模型的指标，证明了在任务定义和模型开发中使用语音的附加信息可以显著提高生成响应的质量。

    Jun, 2024

  • CONCSS: 对话语音合成中基于对比的上下文理解技术

    在本研究中，我们引入了一种基于对比学习的对话语音合成 (CSS) 框架 CONCSS，利用一种创新的预训练任务来进行自监督学习，提升模型对对话语音数据集的上下文理解能力，并引入了一种负样本扩充的采样策略来增强上下文向量的区别性，实验结果表明我们提出的方法合成的语音具有更加上下文适应和敏感的音调。

    Dec, 2023

  • 词汇发音者错误更正：利用语言模型进行发音者离话错误更正

    本篇论文探讨了使用语言模型的 Speaker diarization second-pass error correction approach 引入词汇信息，可以有效且稳健地提高多个电话数据集上的单词级别 Diarization 错误率（WDER）降低 15％至 30％。

    Jun, 2023

  • 混合 SD（H_SD）：自动语音识别任务的新混合评估指标

    本文提出了一种新的自动语音识别系统的综合评估指标 Hybrid-SD，该指标既考虑语义正确性又考虑错误率，通过使用微调技术构建快速轻量级的 SNanoBERT 模型生成句子相似度分数，并证明 H_SD 与下游任务（如意图识别和命名实体识别）的相关性更强。

    Nov, 2022

  • 端到端口语对话问答：任务，数据集和模型

    提出了一种新的口语会话问答任务（SCQA），旨在使系统能够模拟复杂的对话流程，以便处理音频记录中的对话式问题，并探索从不同模态提供更多线索，通过 DDNet 方法有效地摄取跨模态信息以实现语音和语言模态的细粒度表示，并通过双向关注机制鼓励更好的音频和文本之间的对齐，以简化知识转移过程。通过 Spoken-CoQA 数据集，证明了跨模态信息融合的必要性，同时证明了提出的方法在口语会话问答任务中具有卓越的性能表现。

    Apr, 2022

  • DiariST: 带有说话者分离的流式语音译文

    该论文提出了 DiariST，第一个基于神经传感器的流式语音翻译和说话人分离解决方案，它集成了用于多说话人语音识别的标记级别序列化输出训练和 t 向量，通过新的评估数据集 DiariST-AliMeeting 和新的衡量 ST 质量的度量方法，实现了较强的 ST 和 SD 能力，并为此推出了离线基线系统和评估代码。

    Sep, 2023