Sep, 2022

VarArray meets t-SOT: 推进流式远场对话语音识别技术的最新进展

PDF
TL;DR该论文提出了一种新的流式机器人语音识别框架，用于捕获具有任意几何结构的远程麦克风阵列捕获的多个讲话者的重叠语音，并提出了一种基于 VarArray 和 t-SOT 的新型 t-SOT-VA 框架，其结合了连续语音分离和多讲话者语音识别技术。
streaming automatic speech recognitionmulti-talker overlapping speechdistant microphone arrayvararraytoken-level serialized output
发现论文，激发创造
  • 使用令牌级串行化输出训练的流式多说话人 ASR

    本文提出了一种基于 token 级别序列化输出训练（t-SOT）的新型流式多说话人自动语音识别框架，该框架在 LibriSpeechMix 和 LibriCSS 数据集中显示出比以前的结果更高的单词错误率的优势。

    Feb, 2022

  • 使用令牌级别的说话人嵌入进行分配流式讲话者自动语音识别

    提出了一种基于 token 级别序列化输出训练 (t-SOT) 的流式说话者归属性自动语音识别 (SA-ASR) 模型，该模型可以在多人同时说话时实现低延迟的 “谁说了什么” 的识别，并提出了一种基于编码 - 解码的说话者嵌入提取器，可以从非重叠语音和重叠语音中为每个识别的令牌估计说话者表示。

    Mar, 2022

  • 多方会议中说话人归属的自动语音识别的比较研究

    对在多方会议场景下的口语识别（SA-ASR）中的发言人进行的比较研究中，通过三种不同的方法进行了评估。结果表明，引入单词级别的划分模型可以有效降低时戳对准错误。同时，采用目标发言人分离模块和 ASR 模块联合训练可以显著提高 SA-ASR 的性能。

    Mar, 2022

  • 在线音视频会议转录技术进展

    本研究论文介绍了一种使用麦克风阵列和 360 度摄像头生成会议演讲者注释转录的系统，该系统能够处理重叠性语音并使用连续语音分离方法解决该问题。同时，还通过融合脸部跟踪和识别、声源定位、演讲者识别及先前演讲者信息的在线音频视觉演讲者日记化方法，提供了一个名为 SRD 的会议转录框架，并使用 11 名与会者的会议录音的实验结果表明，连续语音分离方法相对于高度调整的波束成形技术可将字词错误率降低 16.1％。当有完整的与会者名单时，字词错误率与演讲者归属字词错误率之间的差异仅为 1.0％，表明字词与演讲者之间的关联准确无误。当 50% 的与会者对系统不知情时，差异略有增加，为 1.6%。

    Dec, 2019

  • BA-SOT: 面向多说话人语音识别的边界感知序列化输出训练

    该论文提出了一种基于边界的序列化输出训练（BA-SOT）模型，通过显式地将边界知识纳入解码器，结合语音识别的多个发言者和发言者变化预测，及通过引入二阶段连接时序分类（CTC）策略的令牌级 SOT CTC 来恢复时间上下文信息，并引入了针对发言者变化预测精度的话语依存的字符错误率（UD-CER）。BA-SOT 模型在 CER / UD-CER 方面均优于原始 SOT 模型，并且可以通过预训练的 ASR 模型进行 BA-SOT 模型初始化。

    May, 2023

  • 基于神经增量 ASR、MT 和 TTS 的同时语音翻译系统

    本文介绍了一种新开发的神经网络语音到语音翻译系统及其评估，该系统包括三个完全增量的神经处理模块，用于自动语音识别、机器翻译和文本到语音合成，并研究了其整体延迟及模块级性能。

    Nov, 2020

  • 语音感知对话系统技术挑战赛（DSTC11）

    本文涉及针对与书面文本不同的口语输入而设计的任务型对话建模，以解决自动语音识别系统所引入的误差，并针对多轮对话建立了一个公共语料库，研究各种形式的语音输出的性能差距，并给出了初步分析。

    Dec, 2022

  • NOTSOFAR-1 挑战：远程会议转录的新数据集、基准和任务

    引入首个远场音频记录的自然办公室对话者（“NOTSOFAR-1”）挑战，共带来数据集和基准系统。该挑战专注于远距离发言人日记和远场会议情景下的自动语音识别（DASR），并推出两个新的数据集：一是 315 个会议的基准测试数据集，每个会议平均约 6 分钟，捕捉了广泛的真实世界声学环境和对话动态；二是 1000 小时的模拟训练数据集，以增强真实世界泛化的真实性，并融合了 15000 个真实声学传递函数。该研究聚焦于单设备 DASR，在多通道设备的情况下具有相同已知的几何形状，旨在推动远距离对话语音识别领域的研究，为解锁数据驱动方法的潜力提供关键资源。

    Jan, 2024

  • YourTTS: 面向全体人员的零样本多说话人语音合成和零样本语音转换

    该研究使用多语言方法进行零样本多说者语音合成，可在低资源语种上实现零样本语音转换，使用 VITS 模型，经过多项创新修改后，在 VCTK 数据集上实现了最先进的结果，并且可以在少于 1 分钟的输入语音上对 YourTTS 进行微调以获得最佳效果。

    Dec, 2021

  • 通过模拟真实的语音重叠，提高多说话人语音识别

    本文提出了一种改进的模拟多说者重叠讲话的技术，该技术使用离散标记的序列来表示任意模式的语音重叠，从而使模型能够从实际对话中学习语音重叠模式，并在多个数据集上提高了单词错误率。

    Oct, 2022