Jun, 2024

第二届 DISPLACE 挑战赛：对话环境中的说话人和语言辨别

PDF
TL;DRDIarization of SPeaker and LAnguage in Conversational Environments (DISPLACE) 2024 challenge involves tasks of speaker diarization (SD), language diarization (LD), and automatic speech recognition (ASR) on a multilingual conversational speech dataset, with details of the dataset, baseline systems, and performance comparison with DISPLACE-2023.
diarizationspeakerlanguageconversational environmentsdisplace
发现论文，激发创造
  • DISPLACE 挑战 2023 摘要 -- 对话环境中的发音者和语言判别

    在多语言社会中，非正式对话经常涉及多种语言的混合使用。DISPLACE 挑战对多语言和说话者鉴别技术进行了评估和基准测试，其中 Track-1 专注于多语境的说话者鉴别，而 Track-2 则针对多说话者情境的语言鉴别。该论文详述了挑战、数据集、任务和基准系统，并提供了顶尖系统的概述，强调了在这些对话中系统在普遍商业应用之前需要克服的主要挑战。

    Nov, 2023

  • 2023 年位移式演讲者脱机化挑战的系统描述

    这篇论文描述了我们对会话环境中演讲者和语言进行辨认的解决方案，我们使用了语音活动检测、基于 Resnet 架构的 CNN 进行特征提取以及基于谱聚类的特征聚类。尽管未使用印地语进行训练，所描述的算法在数据集的开发和阶段 1 评估部分获得了 DER 分别为 27.1% 和 27.4% 的指标。

    Jun, 2024

  • 第二届 DIHARD 记日说话人识别挑战：数据集，任务和基准

    介绍第二届 DIHARD 挑战赛，该挑战赛旨在改善辨别系统对不同录音设备、噪音条件和对话领域变化的适应能力。本文描述了挑战任务、数据集和基线系统。

    Jun, 2019

  • 隐式口语分片

    本研究探讨了利用深度学习的端到端 x - 向量方法进行语音流言分离的性能表现，并发现预训练的 wave2vec 嵌入可以提供近 30% 的错误率改进。

    Jun, 2023

  • 对话短语说话人分离任务（CSSD）：数据集，评估指标和基线

    文章介绍了一个新的对话说话人分离任务，即 CSSD 任务，提供了相关数据集和评估指标 CDER，并采用变分贝叶斯 HMM x-vector 系统作为 CSSD 任务的基准模型。

    Aug, 2022

  • 词汇发音者错误更正：利用语言模型进行发音者离话错误更正

    本篇论文探讨了使用语言模型的 Speaker diarization second-pass error correction approach 引入词汇信息，可以有效且稳健地提高多个电话数据集上的单词级别 Diarization 错误率（WDER）降低 15％至 30％。

    Jun, 2023

  • DiariST: 带有说话者分离的流式语音译文

    该论文提出了 DiariST，第一个基于神经传感器的流式语音翻译和说话人分离解决方案，它集成了用于多说话人语音识别的标记级别序列化输出训练和 t 向量，通过新的评估数据集 DiariST-AliMeeting 和新的衡量 ST 质量的度量方法，实现了较强的 ST 和 SD 能力，并为此推出了离线基线系统和评估代码。

    Sep, 2023

  • Interspeech 2024 离散语音单元挑战中的语音处理技术报告

    本文介绍了上海交通大学 X-LANCE 小组在 Interspeech 2024 离散语音单元挑战赛的 TTS（声学 + vocoder）、SVS 和 ASR 任务中开发的系统，尤其是在 TTS 任务中，无论是使用整个训练集还是仅 1 小时训练数据，我们在排行榜中均获得了第一名，且比其他所有提交的系统具有最低比特率。

    Apr, 2024

  • 非对称和试验依赖性建模：LIA 对 SdSV 挑战任务 2 的贡献

    本研究描述了我们实验室在发言者识别领域的贡献，突出了除了短时长和语言之外，注册和测试数据之间以及评估数据集子集之间的不匹配问题。提出的方法在 SdSv 评估中实验性地展示了它们的相关性和效率，并可能在许多实际应用中具有重要意义。

    Mar, 2024

  • 面向不同语种交流者的语音对话翻译

    本研究提出一项新的任务：针对不同语言的演讲者进行语音对话翻译，构建 SpeechBSD 数据集并进行基线实验，探讨上下文的重要性，提出单语言上下文和双语言上下文两种方式，并使用 Whisper 和 mBART 等方法进行级联语音翻译实验，结果显示在我们的设置中，双语境表现更好。

    May, 2023