May, 2023

非母语流畅度评分的音素和韵律感知自监督学习方法

PDF
TL;DR本文提出了一种基于自监督学习的方法，利用大量未标注语音和文本提示进行预训练，然后再进行有人工评分的微调，以更好地评估语音流畅性 / 不流畅性。实验结果表明，该方法在 Pearson 相关系数方面优于基线系统，并且通过消融实验来更好地理解音素和韵律因素在预训练阶段的贡献。
deep learningself-supervised learningfluency scoringphoneticsprosody
发现论文，激发创造
  • 利用自监督语音表征进行发音错误检测

    本文研究了自我监督学习（SSL）模型在第二语言学习者的发音错误检测任务中的应用，比较了使用母语英语数据训练模型的语音识别（PR）方法和直接使用非母语英语数据训练模型的目标任务方法，通过对 L2Arctic 和 EpaDB 两个非母语语音数据集上的评估发现，直接训练用于目标任务的下游模型表现最佳，而大多数上游模型在该任务中表现相似。

    Jul, 2023

  • 自训练与自监督学习相结合的非监督式病态语检测

    本文提出了一种无监督学习的方法用于发现语言中的断续性，该方法使用廉价的无标注文本语料库，并借鉴了 Noisy Student Training 和上下文化词嵌入的思路，在英语 Switchboard 测试集上达到了与有监督系统竞争的效果。

    Oct, 2020

  • 理解自监督模型作为跨语言特征提取器的量化方法

    通过对英文自监督学习模型在跨语言环境中提取的特征进行研究，我们提出了一种新的度量标准来预测特征表示的质量。使用自动语音识别作为下游任务，我们分析了模型大小、训练目标和模型架构对一组拓扑多样的语料库中模型作为特征提取器的性能的影响。我们开发了一种新的度量标准，即 Phonetic-Syntax Ratio (PSR)，通过深度广义典型相关分析来衡量提取表示中的音标和合成信息。结果表明，wav2vec2.0 目标中的对比损失有助于更有效的跨语言特征提取。PSR 分数与自动语音识别性能呈正相关，表明单语自监督学习模型提取的音标信息可以用于跨语言设置中的下游任务。提出的度量标准是表示质量的有效指标，可用于模型选择。

    Nov, 2023

  • 多任务自监督学习用于消除语注检测

    本文针对训练数据短缺的问题，提出了使用自监督方法结合无标注数据构建伪训练数据进行预训练，并利用有标注的训练数据进行微调的方法，达到了使用少量数据在英语 Switchboard 数据集上与之前使用全数据进行训练的系统表现相当的结果。使用全数据进行训练时，我们的方法可将误差降低 21%。

    Aug, 2019

  • ProsAudit, 自监督语音模型的韵律基准

    本文介绍了一个叫 ProsAudit 的英文基准测试，旨在评估自我监督学习（SSL）语音模型中的结构韵律知识，它由两个子任务、相应的指标和评估数据集组成。通过对一系列 SSL 模型的评估，发现这些模型在两个子任务上表现良好，特别地，大型模型在这两个子任务中表现更好。同时本文也强调了词汇知识在这一任务中的重要性。

    Feb, 2023

  • 分析影响基于自监督预训练表示在语音识别中的有效性因素

    本文研究了在低资源环境下建立自动语音识别（ASR）系统的方法，发现自我监督学习预训练数据的相似性和数量对系统性能有显著影响，希望为语音领域改进 SSL-based 预训练模型的泛化性能提供指导。

    Mar, 2022

  • 大规模自监督学习的语音分离

    本文探讨了如何扩大自监督学习（SSL）的规模，以更好地应用于语音分离问题。通过使用大量的预训练数据进行 fine-tuning，提出的模型在节省了 38% 计算成本的同时，相比于监督学习方法和基于 WavLM 的模型，在一些测试数据集上的单词错误率均有显著的改善。

    Nov, 2022

  • 通过合成进行语音增强的自监督学习

    本文提出了一种基于去噪声码器的语音增强方法，利用自监督学习获取语音的相关特征，并采用最佳的自监督学习配置，采用对抗训练方式进行声音去噪，最终实现了一种具备实时能力、优化了客观指标并超越了当前最先进的语音增强模型的方案。

    Nov, 2022

  • 使用韵律和语言特征探究基于内容感知的神经文本语音合成 MOS 预测

    该研究探讨了将韵律和语言特征作为 MOS 预测系统的附加输入的影响，发现包含 Tacotron 编码器输出和 BERT 嵌入等高级语言输入显著提高了句子和系统层面的预测准确度。

    Nov, 2022

  • 自监督神经网络在人类语音上预训练​能否辨别动物叫声？

    本文探讨了在人类语音领域预训练的自监督学习模型是否可以用于生物声学领域，结果表明可以通过这种方式成功地从黄腹掌猴的声音中识别出不同的个体身份信息。

    May, 2023