Apr, 2022

利用真实对话数据实现多渠道连续语音分离

PDF
TL;DR本研究提出一种可同时利用有标注数据和非标注数据进行连续语音分离模型训练的三阶段训练方案，并将其应用于任意麦克风阵列采集的多通道语音数据上取得了较好效果。
continuous speech separationsupervised dataunsupervised datatraining schememulti-channel
发现论文，激发创造
  • 连续语音分离：数据集与分析

    这篇论文通过建立新的 LibriCSS 数据集并制定一套 Kaldi 基础的 ASR 评估方法，对连续语音分离算法进行了评估和研究，以解决自然对话中语音分离的问题。

    Jan, 2020

  • 使用非成对语音和文本的半监督序列到序列自动语音识别

    本文提出了一种新的半监督训练方法，该方法结合了端到端的不可区分的 ASR->TTS 损失和 TTS->ASR 损失，利用未配对的语音和文本数据，相较于其他相关技术在 WSJ 和 Librispeech 语料库上的 WER 性能更好。

    Apr, 2019

  • 大规模自监督学习的语音分离

    本文探讨了如何扩大自监督学习（SSL）的规模，以更好地应用于语音分离问题。通过使用大量的预训练数据进行 fine-tuning，提出的模型在节省了 38% 计算成本的同时，相比于监督学习方法和基于 WavLM 的模型，在一些测试数据集上的单词错误率均有显著的改善。

    Nov, 2022

  • 异构基于图的上下文建模的对话语音合成的情感表达

    我们提出了一种新颖的情感对话语音合成模型 (ECSS)，通过引入异构图的情感上下文建模机制以提高情感理解，以及使用对比学习的情感渲染器模块来推断目标话语的准确情感风格，解决了数据稀缺性问题，并注释了现有对话数据集 (DailyTalk) 上的附加情感信息。客观和主观评价表明，我们的模型在理解和表达情感方面优于基线模型，并强调了全面的情感注释的重要性。

    Dec, 2023

  • 对话短语说话人分离任务（CSSD）：数据集，评估指标和基线

    文章介绍了一个新的对话说话人分离任务，即 CSSD 任务，提供了相关数据集和评估指标 CDER，并采用变分贝叶斯 HMM x-vector 系统作为 CSSD 任务的基准模型。

    Aug, 2022

  • CONCSS: 对话语音合成中基于对比的上下文理解技术

    在本研究中，我们引入了一种基于对比学习的对话语音合成 (CSS) 框架 CONCSS，利用一种创新的预训练任务来进行自监督学习，提升模型对对话语音数据集的上下文理解能力，并引入了一种负样本扩充的采样策略来增强上下文向量的区别性，实验结果表明我们提出的方法合成的语音具有更加上下文适应和敏感的音调。

    Dec, 2023

  • ASR 的对比半监督学习

    本文提出了一种名为对比半监督学习（Contrastive Semi-supervised Learning, CSL）的方法，通过挑选正负样本来替代直接预测教师生成的伪标签，并将其应用于翻译公共社交媒体视频的挑战任务中，从而比标准的交叉熵伪标签（CE-PL）减少了 8% 的 WER。

    Mar, 2021

  • 阿拉伯语 - 英语代码切换语音识别的文本数据增强

    本文基于随机词汇替换和等价约束，利用对齐翻译对生成随机合法的混合语言内容进行零样本学习，以解决跨语言语音识别中数据稀缺性、语法结构复杂性和领域匹配问题，实验结果显示，所提出的方法在两个生态有效的混合语言测试集上相对降低了 65.5% 的语言模型困惑度和 7.7% 的 ASR WER，而采用等价约束的人类评估表明，80% 以上的内容质量足够。

    Jan, 2022

  • 利用端到端自主训练的半监督自动语音识别

    本文提出了一种基于端到端系统的自学习半监督自动语音识别方法，通过对无监督数据的伪标记迭代地增强有标记的数据，从而提高系统性能，实现数据增强效果，获得了 14.4% 的相对识别错误率改进。

    Jan, 2020

  • 持续语义分割研究综述：理论、挑战、方法与应用

    连续学习在深度学习和人工智能系统中具有突破性意义，本文以连续语义分割为例，全面调查其问题形式、主要挑战、通用数据集、新理论和多样应用，并分类整理了当前 CSS 模型中的数据回放和无数据集两个主要分支方法，并提供了具有不同应用场景和发展趋势的四个 CSS 特性。

    Oct, 2023