Dec, 2023

利用语言识别计算中间 CTC 损失以增强代码交替语音识别

PDF
TL;DR通过在自动语音识别模型的编码器的中间层引入语言识别信息，本文旨在以更加隐式的方式生成暗示语言区别的声学特征，降低模型在处理语言切换时的混淆。
end-to-end speech recognitioncode-switchingasr modelslanguage identificationacoustic features
发现论文，激发创造
  • 实现端到端的代码交替语音识别

    本文通过混合 CTC-Attention 模型，不同建模单元，语言识别以及不同解码策略等对汉英混合口语识别任务进行了研究，并在 SEAME 语音库上实现了 34.24% 的混淆误差率。

    Oct, 2018

  • 使用语言模型的语言切换语音识别：古吉拉特英语

    通过条件化变换器层上的语言 ID，我们提出了两种引入语言特定参数和可解释性以及实现辅助性的时间损失方法，以改进端到端自动语音识别模型的性能。尽管无法显著减少词错误率，但我们的方法在通过仅仅的口语数据预测正确语言方面表现出潜力。我们通过在序列中删除语言 ID 来引入语言预测的正则化，有助于对齐长重复的输出序列。

    Mar, 2024

  • 端到端的混合语言模型用于自动语音识别

    本文利用深度双向语言模型如 BERT 和其他机器翻译模型提出了一种提取单语文本的方法，以及探索从 ASR 模型中提取混合文本的不同方法，并通过比较混杂度和其他不同指标（如 WER）的结果与标准的双语文本输出来说明模型的稳健性。

    Jun, 2020

  • 减少端到端语种混淆的自动语音识别

    本文基于等价约束理论提出了一种语言相关的注意机制，将单语数据转化为多语数据应用于端到端的自动语音识别中，获得了相对误差减少 17.12% 的优异性能。

    Jan, 2022

  • 利用编码解耦的有效混合专家方法进行代码切换语音识别

    通过引入一种新的解缠损失函数，本研究专注于改进端到端自动语音识别（ASR）的声学编码器，以解决代码切换现象带来的挑战，并通过实验验证了该方法的优越性。

    Feb, 2024

  • 利用单语数据源训练双语和混码语音识别模型

    本文介绍了一种新的聚合分词器方法，用于训练双语和混合语音自动语音识别模型，从而消除了获得语料库的限制，并演示了这种方法的有效性。

    Jun, 2023

  • 端到端语音识别中的语言无关代码切换

    本文研究提出一种简单而有效的数据增强方法，以在缺乏大量语料库的情况下训练多语言系统，进而提高 Code-Switching 语音的自动识别水平。通过将不同源语言的音频和相应标签连结在一起训练神经网络端到端 (E2E) 模型，实现在跨句子语言转换方面的提高。

    Oct, 2022

  • 适用于印度语的代码转换和混合语音识别

    本研究通过比较使用多语种和单语种模型进行语音识别的表现，提出了一种基于 wav2vec 2.0 的端到端多语种语音识别和混合语言识别技术，取得了印度诸多语言语音识别的较好效果。

    Mar, 2022

  • 无切换编码：语言无关的端到端语音翻译

    我们提出了一种语言无关的端到端语音翻译模型（LAST），并提出了一种数据增强策略来提高代码切换性能。通过使用此模型，我们可以在处理多种语言混合的自然语音时，无需使用语言特定的语音识别和翻译组件，并显著减少延迟和错误率。

    Oct, 2022

  • 多语音识别中的代码切换适配器适应

    本文提出了在代码转换的语音中有效地微调大型预训练多语言语音模型的方法，并将代码转换建模为一系列潜在的二进制序列，以引导每个语言适配器在帧级别上的信息流，通过在阿拉伯语、普通话和印地语等多种语言与英语配对的数据集上的评估，显示出代码转换性能的持续改进，至少可以将语音识别错误率 (CER) 降低 10％。

    Oct, 2023