Oct, 2022

通过模拟真实的语音重叠，提高多说话人语音识别

PDF
TL;DR本文提出了一种改进的模拟多说者重叠讲话的技术，该技术使用离散标记的序列来表示任意模式的语音重叠，从而使模型能够从实际对话中学习语音重叠模式，并在多个数据集上提高了单词错误率。
multi-talker automatic speech recognitionoverlapping speechspeech overlapstrainingn-gram
发现论文，激发创造
  • 多说话人重叠语音识别的演讲者掩蔽变换器

    该研究论文提出了一种新的模型，结合语音识别和说话人分离的任务，通过引入说话人标签和说话人掩码分支，实现了多说话人重叠语音的识别和说话人分离。实验证明了该方法在复杂的多说话人场景中有效地提高了说话人分离的准确性。

    Dec, 2023

  • 为处理多个说话人而改编多语言 ASR 模型

    该论文提出了一种使用改进的序列化输出训练和轻量级适配器模块来解决在会议对话中经常出现的多说话者自动语音识别（ASR）问题的方法，实验结果表明该方法有效地将 USMs 转换为具有时间戳预测能力的强大的多语言多说话人 ASR 模型

    May, 2023

  • 使用旁路分离器进行多说话人重叠语音识别和说话人分离的统一建模

    通过在单输出识别（ASR）模型中插入侧耳声分离器，结合说话人分离（diarization）任务，提出了一种能够同时定位多个讲话者的多讲话人重叠语音识别语音模型。

    May, 2023

  • 使用令牌级串行化输出训练的流式多说话人 ASR

    本文提出了一种基于 token 级别序列化输出训练（t-SOT）的新型流式多说话人自动语音识别框架，该框架在 LibriSpeechMix 和 LibriCSS 数据集中显示出比以前的结果更高的单词错误率的优势。

    Feb, 2022

  • 跨语言多说话人 TTS 和跨语言语音转换进行 ASR 数据增强

    本文研究跨语种多人语音合成以及跨语种语音转换，并将其应用于自动语音识别（ASR）系统的数据增强。经过大量实验，我们证明了通过使用仅一个目标语言说话者进行模型训练，可以使用语音合成和语音转换来提高目标语言上的 ASR 系统。我们成功地缩小了 ASR 模型训练时使用合成的语音与使用人类语音之间的差距，并通过我们的数据增强方法，在目标语言中仅使用一个真实说话者就能获得有希望的 ASR 训练结果。

    Mar, 2022

  • 时间瓶颈：为什么定时和重叠对于对话界面、语音识别和对话系统至关重要

    对话系统中的定时关键，6 种语言的自然对话数据的词错误率仍然糟糕，重叠问题是一个关键挑战，对话词语的识别受到影响，进而对下游意图识别产生严重后果。

    Jul, 2023

  • 支持会议识别的连续语音分离的混合编码器

    此研究通过引入混合编码器，将重叠的语音分离为无重叠的流，从而处理多说话人和动态重叠的自然会议环境中的自动语音识别，实验结果表明混合编码器具有最先进的性能并强调了 TF-GridNet 的强大分离能力。

    Sep, 2023

  • 使用令牌级别的说话人嵌入进行分配流式讲话者自动语音识别

    提出了一种基于 token 级别序列化输出训练 (t-SOT) 的流式说话者归属性自动语音识别 (SA-ASR) 模型，该模型可以在多人同时说话时实现低延迟的 “谁说了什么” 的识别，并提出了一种基于编码 - 解码的说话者嵌入提取器，可以从非重叠语音和重叠语音中为每个识别的令牌估计说话者表示。

    Mar, 2022

  • MultiSpeech: 基于 Transformer 的多说话人文本转语音

    本文提出了一种名为 MultiSpeech 的高质量多说话人变压器语音合成系统，通过几个特殊设计的组件 / 技术改善了文本到语音的对齐，并在多个数据集上展示了其效果。

    Jun, 2020

  • 会议在线发言人分化的语音分离指导

    我们介绍了一种新的基于语音分离引导的在线发言人分化方案，适用于持续变动的说话人数量的长时间会议录音。

    Jan, 2024