Jun, 2022

LAE: 用于单语和多语言 ASR 的语言感知编码器

PDF
TL;DR该研究提出了一种新的语言感知编码器（LAE）架构，通过解开语言特定信息和在编码期间生成帧级语言感知表示来处理多语言语音识别，并且在华语 - 英语混合语音上表现出卓越的性能。
automatic speech recognitionmultilingual speech recognitionlanguage-aware encodercode-switched speechneural transducer systems
发现论文，激发创造
  • 单语言识别器在混合语音识别中的融合

    本文提出了一种单语言识别器融合方法用于语码混合自动语音识别，通过两个阶段实现：语音感知阶段和语言融合阶段，并提出了文本模拟策略简化 BELM 训练过程并减少对语码混合数据的依赖。实验表明，使用开源预训练的 MAM 后，测试集上的混合错误率显著降低。

    Nov, 2022

  • 面向代码切换语音识别的语言特定特征辅助

    本文提出了一种语言特异性辅助方法（LSCA），用于改善现有方法中 LSEs 的语言约束问题。通过在训练期间引入两个语言特定的损失以及对应的语言特定目标，同时考虑 LSMs 的解码能力，LSCA 方法可以提高模型的性能，最好的结果可以相对误差降低 15.4%。 此外，该系统不需要额外的共享参数或根据两个预训练 LSMs 进行重新训练，可以很好地处理语言切换的语音识别任务。

    Jun, 2022

  • 利用语音识别能力激发大型语言模型

    通过直接添加小型音频编码器，扩展大型语言模型的能力，实现与其文本版本相同的自动语音识别系统，并在 Multilingual LibriSpeech 上的实验证明，即使在 LLM 被冻结或者音频编码器使用几乎 1 秒的步幅生成更少嵌入时，多语种 ASR 仍然可行，从而为 LLMs 在长篇音频中进行操作开辟了可能性。

    Jul, 2023

  • 利用编码解耦的有效混合专家方法进行代码切换语音识别

    通过引入一种新的解缠损失函数，本研究专注于改进端到端自动语音识别（ASR）的声学编码器，以解决代码切换现象带来的挑战，并通过实验验证了该方法的优越性。

    Feb, 2024

  • 针对端到端语音识别和理解优化语音和语言潜空间的对齐

    本文提出引用对齐器和模态切换训练来更好地对齐语音和文本潜在空间，实验结果在 Librispeech ASR 任务和 SNIPS 槽填充任务上都表现出了显著的性能提升。

    Oct, 2021

  • 多语音识别中的代码切换适配器适应

    本文提出了在代码转换的语音中有效地微调大型预训练多语言语音模型的方法，并将代码转换建模为一系列潜在的二进制序列，以引导每个语言适配器在帧级别上的信息流，通过在阿拉伯语、普通话和印地语等多种语言与英语配对的数据集上的评估，显示出代码转换性能的持续改进，至少可以将语音识别错误率 (CER) 降低 10％。

    Oct, 2023

  • 适用于印度语的代码转换和混合语音识别

    本研究通过比较使用多语种和单语种模型进行语音识别的表现，提出了一种基于 wav2vec 2.0 的端到端多语种语音识别和混合语言识别技术，取得了印度诸多语言语音识别的较好效果。

    Mar, 2022

  • L1-Aware 多语种发音错误检测框架

    本文介绍了一种新颖的多语言 MDD 结构 L1-MultiMDD，它具有 L1 感知的语音表示，并使用端到端语音编码器对输入信号及其对应的参考音素序列进行训练。实验结果表明，该 L1-MultiMDD 框架在目标语言（包括英语、阿拉伯语和普通话）的统一多语言音素识别任务中具有鲁棒性、有效性和泛化能力。

    Sep, 2023

  • 减少端到端语种混淆的自动语音识别

    本文基于等价约束理论提出了一种语言相关的注意机制，将单语数据转化为多语数据应用于端到端的自动语音识别中，获得了相对误差减少 17.12% 的优异性能。

    Jan, 2022

  • 适用于低资源语音识别的语言通用语音编码器

    使用国际音标为基础的语言通用的语音模型在多语言音频识别中表现出良好效果，且通过自适应方法在极低资源语言的情况下改进了识别性能。

    May, 2023