Nov, 2023

DISPLACE 挑战 2023 摘要 -- 对话环境中的发音者和语言判别

PDF
TL;DR在多语言社会中，非正式对话经常涉及多种语言的混合使用。DISPLACE 挑战对多语言和说话者鉴别技术进行了评估和基准测试，其中 Track-1 专注于多语境的说话者鉴别，而 Track-2 则针对多说话者情境的语言鉴别。该论文详述了挑战、数据集、任务和基准系统，并提供了顶尖系统的概述，强调了在这些对话中系统在普遍商业应用之前需要克服的主要挑战。
multi-lingual societiesinformal conversationsspeaker diarizationlanguage diarizationcommercial deployment
发现论文，激发创造
  • 第二届 DISPLACE 挑战赛：对话环境中的说话人和语言辨别

    DIarization of SPeaker and LAnguage in Conversational Environments (DISPLACE) 2024 challenge involves tasks of speaker diarization (SD), language diarization (LD), and automatic speech recognition (ASR) on a multilingual conversational speech dataset, with details of the dataset, baseline systems, and performance comparison with DISPLACE-2023.

    Jun, 2024

  • 2023 年位移式演讲者脱机化挑战的系统描述

    这篇论文描述了我们对会话环境中演讲者和语言进行辨认的解决方案，我们使用了语音活动检测、基于 Resnet 架构的 CNN 进行特征提取以及基于谱聚类的特征聚类。尽管未使用印地语进行训练，所描述的算法在数据集的开发和阶段 1 评估部分获得了 DER 分别为 27.1% 和 27.4% 的指标。

    Jun, 2024

  • 隐式口语分片

    本研究探讨了利用深度学习的端到端 x - 向量方法进行语音流言分离的性能表现，并发现预训练的 wave2vec 嵌入可以提供近 30% 的错误率改进。

    Jun, 2023

  • 第二届 DIHARD 记日说话人识别挑战：数据集，任务和基准

    介绍第二届 DIHARD 挑战赛，该挑战赛旨在改善辨别系统对不同录音设备、噪音条件和对话领域变化的适应能力。本文描述了挑战任务、数据集和基线系统。

    Jun, 2019

  • 面向不同语种交流者的语音对话翻译

    本研究提出一项新的任务：针对不同语言的演讲者进行语音对话翻译，构建 SpeechBSD 数据集并进行基线实验，探讨上下文的重要性，提出单语言上下文和双语言上下文两种方式，并使用 Whisper 和 mBART 等方法进行级联语音翻译实验，结果显示在我们的设置中，双语境表现更好。

    May, 2023

  • 对话短语说话人分离任务（CSSD）：数据集，评估指标和基线

    文章介绍了一个新的对话说话人分离任务，即 CSSD 任务，提供了相关数据集和评估指标 CDER，并采用变分贝叶斯 HMM x-vector 系统作为 CSSD 任务的基准模型。

    Aug, 2022

  • 探索口语理解中有关说话人信息以改进说话人分离

    本文介绍了一种从多方会议的语义内容中提取与讲话者相关信息进而改进说话人分离方法的方法，提出了两个子任务（对话检测和发言者切换检测）来有效地从对话语义中提取讲话者信息，并提出了一种简单而有效的算法来联合建模声学和语义信息并获得标识讲话者的文本。实验结果表明，我们的方法在 AISHELL-4 和 AliMeeting 数据集上相对于仅声学的说话人分离系统都有显著的改进。

    May, 2023

  • 多语言任务导向对话系统中性能差异的系统研究

    多语言自然语言处理中任务导向对话系统性能差异的经验分析和洞察，以及新语言中 ToD 数据收集和系统开发的实用建议。

    Oct, 2023

  • 3D-Speaker：用于语音表示分离的大规模多设备、多距离和多方言语料库

    本研究介绍了一个大规模语音语料库 3D-Speaker，用于促进语音表征分离的研究。3D-Speaker 含有超过 10,000 个说话者的语音数据，包括不同距离、不同方言等多维度组合，适用于评估大型普适性语音模型的性能并尝试领域外学习和自监督学习方法。

    Jun, 2023

  • DiariST: 带有说话者分离的流式语音译文

    该论文提出了 DiariST，第一个基于神经传感器的流式语音翻译和说话人分离解决方案，它集成了用于多说话人语音识别的标记级别序列化输出训练和 t 向量，通过新的评估数据集 DiariST-AliMeeting 和新的衡量 ST 质量的度量方法，实现了较强的 ST 和 SD 能力，并为此推出了离线基线系统和评估代码。

    Sep, 2023