Nov, 2022

单语言识别器在混合语音识别中的融合

PDF
TL;DR本文提出了一种单语言识别器融合方法用于语码混合自动语音识别，通过两个阶段实现：语音感知阶段和语言融合阶段，并提出了文本模拟策略简化 BELM 训练过程并减少对语码混合数据的依赖。实验表明，使用开源预训练的 MAM 后，测试集上的混合错误率显著降低。
bi-encodercode-switchingspeech recognitionmonolingual recognizers fusionlanguage-specific predictions
发现论文，激发创造
  • LAE: 用于单语和多语言 ASR 的语言感知编码器

    该研究提出了一种新的语言感知编码器（LAE）架构，通过解开语言特定信息和在编码期间生成帧级语言感知表示来处理多语言语音识别，并且在华语 - 英语混合语音上表现出卓越的性能。

    Jun, 2022

  • 面向代码切换语音识别的语言特定特征辅助

    本文提出了一种语言特异性辅助方法（LSCA），用于改善现有方法中 LSEs 的语言约束问题。通过在训练期间引入两个语言特定的损失以及对应的语言特定目标，同时考虑 LSMs 的解码能力，LSCA 方法可以提高模型的性能，最好的结果可以相对误差降低 15.4%。 此外，该系统不需要额外的共享参数或根据两个预训练 LSMs 进行重新训练，可以很好地处理语言切换的语音识别任务。

    Jun, 2022

  • 端到端的混合语言模型用于自动语音识别

    本文利用深度双向语言模型如 BERT 和其他机器翻译模型提出了一种提取单语文本的方法，以及探索从 ASR 模型中提取混合文本的不同方法，并通过比较混杂度和其他不同指标（如 WER）的结果与标准的双语文本输出来说明模型的稳健性。

    Jun, 2020

  • 利用单语数据源训练双语和混码语音识别模型

    本文介绍了一种新的聚合分词器方法，用于训练双语和混合语音自动语音识别模型，从而消除了获得语料库的限制，并演示了这种方法的有效性。

    Jun, 2023

  • 利用语音识别能力激发大型语言模型

    通过直接添加小型音频编码器，扩展大型语言模型的能力，实现与其文本版本相同的自动语音识别系统，并在 Multilingual LibriSpeech 上的实验证明，即使在 LLM 被冻结或者音频编码器使用几乎 1 秒的步幅生成更少嵌入时，多语种 ASR 仍然可行，从而为 LLMs 在长篇音频中进行操作开辟了可能性。

    Jul, 2023

  • 零翻译语种混合语音识别

    在零 - shot 场景下，我们提出了一种基于转写的方法，通过简化单语模块的操作并将语种转录成单一脚本，来促进有效的代码交换自动语音识别系统。该方法通过后续的双语模块来检测多语言转录点并综合外部语言模型信息，应用于端到端可微分的神经网络中，在普通话 - 英语 SEAME 测试集上证明了其有效性。

    Nov, 2022

  • 适用于印度语的代码转换和混合语音识别

    本研究通过比较使用多语种和单语种模型进行语音识别的表现，提出了一种基于 wav2vec 2.0 的端到端多语种语音识别和混合语言识别技术，取得了印度诸多语言语音识别的较好效果。

    Mar, 2022

  • 双语模型用于混合语言语音识别

    本文提出了一种针对双语混杂文本的语言模型的新方法，即双语言模型，该方法使用单一语言模型的结构来改进标准的双语言模型，并将两个互补的单一语言模型结合在一起，以概率切换模型进行切换。我们使用一种会话式汉英语音语料库评估了该方法的有效性，并证明了我们的模型的鲁棒性，表明在不使用任何外部信息的情况下，在困惑度措施和自动语音识别错误率方面都会显著提高。

    Nov, 2017

  • 高效地融合预训练的声学和语言编码器用于低资源语音识别

    该论文研究了如何将预训练声学编码器和预训练语言编码器融合到端到端自动语音识别模型中，以提高模型的性能，尤其是在低资源自动语音识别的情境下。实验证明，该方法比其他端到端模型在 15 小时的 CALLHOME 语料库上表现得更好。

    Jan, 2021

  • 利用编码解耦的有效混合专家方法进行代码切换语音识别

    通过引入一种新的解缠损失函数，本研究专注于改进端到端自动语音识别（ASR）的声学编码器，以解决代码切换现象带来的挑战，并通过实验验证了该方法的优越性。

    Feb, 2024