Jan, 2020

连续语音分离：数据集与分析

PDF
TL;DR这篇论文通过建立新的 LibriCSS 数据集并制定一套 Kaldi 基础的 ASR 评估方法，对连续语音分离算法进行了评估和研究，以解决自然对话中语音分离的问题。
continuous speech separationalgorithm evaluationnatural conversationsautomatic speech recognitionlibricss dataset
发现论文，激发创造
  • 利用真实对话数据实现多渠道连续语音分离

    本研究提出一种可同时利用有标注数据和非标注数据进行连续语音分离模型训练的三阶段训练方案，并将其应用于任意麦克风阵列采集的多通道语音数据上取得了较好效果。

    Apr, 2022

  • 对话短语说话人分离任务（CSSD）：数据集，评估指标和基线

    文章介绍了一个新的对话说话人分离任务，即 CSSD 任务，提供了相关数据集和评估指标 CDER，并采用变分贝叶斯 HMM x-vector 系统作为 CSSD 任务的基准模型。

    Aug, 2022

  • 支持会议识别的连续语音分离的混合编码器

    此研究通过引入混合编码器，将重叠的语音分离为无重叠的流，从而处理多说话人和动态重叠的自然会议环境中的自动语音识别，实验结果表明混合编码器具有最先进的性能并强调了 TF-GridNet 的强大分离能力。

    Sep, 2023

  • 使用 Conformer 进行连续语音分离

    本文研究使用 Transformer 和 Conformer 代替递归神经网络在语音分离领域中来提取单个说话者的混合语音，以连续语音分离为主要研究方向，通过在 LibriCSS 数据集上的实验，证明所提模型在语音分离任务中具有最优表现。

    Aug, 2020

  • 会议在线发言人分化的语音分离指导

    我们介绍了一种新的基于语音分离引导的在线发言人分化方案，适用于持续变动的说话人数量的长时间会议录音。

    Jan, 2024

  • 2018 年信号分离评估活动

    本文介绍了 2018 年社区无损音频分离评估活动的组织和结果，该活动旨在推进机器学习时代音频分离软件的原型设计。本次活动通过发布音乐分离数据库 MUSDB18，以及发布开源软件和 Python 版本的 BSSEval 工具箱，来向参与者展示了在三种理论分离方法下的性能表现。

    Apr, 2018

  • 持续语义分割研究综述：理论、挑战、方法与应用

    连续学习在深度学习和人工智能系统中具有突破性意义，本文以连续语义分割为例，全面调查其问题形式、主要挑战、通用数据集、新理论和多样应用，并分类整理了当前 CSS 模型中的数据回放和无数据集两个主要分支方法，并提供了具有不同应用场景和发展趋势的四个 CSS 特性。

    Oct, 2023

  • 语音拼贴：通过拼贴单语语料库的混合交替生成语音

    本文介绍了一种通过拼接音频片段从单语语料库中合成 Code-Switching 数据的 Speech Collage 方法，并通过重叠添加方法提高音频生成的平滑度。我们研究了生成的数据对语音识别的影响，在使用领域内 Code-Switching 文本和合成的 Code-Switching 文本的零样本方法下，实证结果显示相对于领域内和零样本场景，混合错误率和词错误率分别降低了 34.4％和 16.2％。最后，我们证明了 Code-Switching 增强了模型的 Code-Switching 倾向并减少了其单语偏见。

    Sep, 2023

  • 大规模自监督学习的语音分离

    本文探讨了如何扩大自监督学习（SSL）的规模，以更好地应用于语音分离问题。通过使用大量的预训练数据进行 fine-tuning，提出的模型在节省了 38% 计算成本的同时，相比于监督学习方法和基于 WavLM 的模型，在一些测试数据集上的单词错误率均有显著的改善。

    Nov, 2022

  • 面向短语对话扬声器辨别挑战的 TSUP 扬声器分离系统

    该论文描述了 TSUP 团队在 ISCSLP 2022 CSSD 挑战赛中的参赛表现和关键研究成果，侧重于短话语音者分离与新的评价指标 CDER。SC 方法是最受欢迎的方法并且所有的三种语音者分离系统都需要调参，最后 SC 系统的表现居于第三名。

    Oct, 2022