May, 2024

自学习识别器：面向语音基础模型的无监督适应

PDF
TL;DR我们提出了一个无监督适应框架，Self-TAught Recognizer (STAR)，它利用无标签数据增强自动语音识别（ASR）系统在噪声和口音等多样的目标领域中的稳健性。STAR 基于基于 Transformer 相关架构和自回归解码的流行语音基础模型（例如 Whisper，Canary）进行开发。
发现论文，激发创造
  • 无监督领域自适应语音识别与无监督错误校正

    本文提出了一种无监督自适应错误校正方法，可以在未见过的领域中恢复由领域差异引起的语音识别错误，使用伪标记技术生成学习样本，在持续学习中以减少过度拟合，并使用编码器 - 解码器校正模型结合其他信息以进一步提高适应性，实验结果表明，该方法相对于未自适应的 ASR 系统显著降低了单词错误率，并可用于其他适应方法以带来额外的 10% 的性能提升。

    Sep, 2022

  • 基于对抗学习的无监督领域自适应技术，用于提高语音识别的鲁棒性

    利用对抗性学习进行无监督适应性，采用神经网络和未分类的适应性数据解决了远程语音识别问题，相对于没有适应的模型，相对词错误率下降了 19.8%。

    Jul, 2018

  • 训练要有所侧重：自监督语音识别模型的针对性、可迁移对抗样本

    该论文研究了定向对抗攻击自我训练的自动语音识别模型，发现现代自我训练的自动语音识别模型容易受到对抗攻击的影响，进一步揭示了现代 ASR 体系结构的安全威胁。

    Sep, 2022

  • 几乎无监督的文本转语音和自动语音识别

    本文提出了一种基于 Transformer 模型的几乎无监督学习方法，结合 TTS 和 ASR 的双重特性，通过少量的配对数据和额外的未配对数据，实现了对语音和文本领域的语言建模，并在 LJSpeech 数据集上达到了 99.84% 的可懂单词率和 2.68 MOS 的 TTS 表现，以及 11.7% 的 ASR 错误率。

    May, 2019

  • 基于教师 - 学生学习的大规模领域自适应

    本文提出一种用于领域自适应的方法，不需要转录数据，而是使用源域和目标域的无标记平行数据，利用教师 / 学生学习方法在目标域中训练模型，并在两种场景下进行评估，实现了显著的准确率提升，尤其是当使用模拟训练数据时，增加了模型的鲁棒性。

    Aug, 2017

  • 通过与迭代精化的隐马尔可夫模型协调的生成对抗网络实现完全无监督语音识别

    本研究使用生成对抗网络和隐马尔可夫模型开发了一种适用于低资源语言的无监督语音识别方法，并在 TIMIT 数据集上实现了 33.1% 的电话错误率，比现有技术提高了 8.5%。

    Apr, 2019

  • 无监督自动语音识别：综述

    这篇论文研究了使用无监督学习的方法，包括语音分割，语音信号到文本的映射和半监督模型来实现自动语音识别，以识别从语音数据中可以学到的极限并理解语音识别的最小要求，目的是为了在开发低资源语言的语音识别系统时优化资源和努力。

    Jun, 2021

  • 朝向无需发音模型的无监督语音识别

    本研究采用不依赖音素词典的新方法，通过仅包含高频英语词汇的语料库，在没有配对语音和文字数据的情况下，实现了近 20% 的词错误率，并证明了基于联合语音到语音和文本到文本的标记填充技术，使得无监督语音识别系统的性能超过了直接分布匹配方法。

    Jun, 2024

  • 无监督语音识别理论

    本文提出了一个通用的理论框架，用于通过随机矩阵理论和神经切向核理论研究 ASR-U 系统的属性和解决超参数敏感性和训练不稳定等问题，并通过三类转换图上的合成语言的 ASR-U 实验提供强有力的理论依据。

    Jun, 2023

  • 面向语音识别的统一说话人适应方法

    本文提出了一种基于特征适应和模型适应的统一说话人自适应方法，其中采用一种说话人感知的持久性记忆模型进行特征适应，并使用一种新颖的逐步修剪方法进行模型适应。在 Librispeech 数据集上的实验结果表明，相对于基线方法，在一般说话人自适应和目标说话人自适应中使用所提出的方法可带来 2.74-6.52% 的词错误率下降，并且该方法具有良好的低资源适应性能。

    Oct, 2021