Jun, 2022

面向代码切换语音识别的语言特定特征辅助

PDF
TL;DR本文提出了一种语言特异性辅助方法（LSCA），用于改善现有方法中 LSEs 的语言约束问题。通过在训练期间引入两个语言特定的损失以及对应的语言特定目标，同时考虑 LSMs 的解码能力，LSCA 方法可以提高模型的性能，最好的结果可以相对误差降低 15.4%。 此外，该系统不需要额外的共享参数或根据两个预训练 LSMs 进行重新训练，可以很好地处理语言切换的语音识别任务。
dual-encoder structurecode-switching speech recognitionlanguage-specific encoderslanguage-specific losseslsms
发现论文，激发创造
  • LAE: 用于单语和多语言 ASR 的语言感知编码器

    该研究提出了一种新的语言感知编码器（LAE）架构，通过解开语言特定信息和在编码期间生成帧级语言感知表示来处理多语言语音识别，并且在华语 - 英语混合语音上表现出卓越的性能。

    Jun, 2022

  • 单语言识别器在混合语音识别中的融合

    本文提出了一种单语言识别器融合方法用于语码混合自动语音识别，通过两个阶段实现：语音感知阶段和语言融合阶段，并提出了文本模拟策略简化 BELM 训练过程并减少对语码混合数据的依赖。实验表明，使用开源预训练的 MAM 后，测试集上的混合错误率显著降低。

    Nov, 2022

  • 利用编码解耦的有效混合专家方法进行代码切换语音识别

    通过引入一种新的解缠损失函数，本研究专注于改进端到端自动语音识别（ASR）的声学编码器，以解决代码切换现象带来的挑战，并通过实验验证了该方法的优越性。

    Feb, 2024

  • 使用语言模型的语言切换语音识别：古吉拉特英语

    通过条件化变换器层上的语言 ID，我们提出了两种引入语言特定参数和可解释性以及实现辅助性的时间损失方法，以改进端到端自动语音识别模型的性能。尽管无法显著减少词错误率，但我们的方法在通过仅仅的口语数据预测正确语言方面表现出潜力。我们通过在序列中删除语言 ID 来引入语言预测的正则化，有助于对齐长重复的输出序列。

    Mar, 2024

  • 利用语言识别计算中间 CTC 损失以增强代码交替语音识别

    通过在自动语音识别模型的编码器的中间层引入语言识别信息，本文旨在以更加隐式的方式生成暗示语言区别的声学特征，降低模型在处理语言切换时的混淆。

    Dec, 2023

  • 双语模型用于混合语言语音识别

    本文提出了一种针对双语混杂文本的语言模型的新方法，即双语言模型，该方法使用单一语言模型的结构来改进标准的双语言模型，并将两个互补的单一语言模型结合在一起，以概率切换模型进行切换。我们使用一种会话式汉英语音语料库评估了该方法的有效性，并证明了我们的模型的鲁棒性，表明在不使用任何外部信息的情况下，在困惑度措施和自动语音识别错误率方面都会显著提高。

    Nov, 2017

  • 利用语音识别能力激发大型语言模型

    通过直接添加小型音频编码器，扩展大型语言模型的能力，实现与其文本版本相同的自动语音识别系统，并在 Multilingual LibriSpeech 上的实验证明，即使在 LLM 被冻结或者音频编码器使用几乎 1 秒的步幅生成更少嵌入时，多语种 ASR 仍然可行，从而为 LLMs 在长篇音频中进行操作开辟了可能性。

    Jul, 2023

  • 使用编码器提示进行多语言端到端语音识别的快速语言适应

    通过引入自我条件 CTC 框架中的编码器提示技术，我们实现了 CTC 模型的语言特定适应，从而实现了多语言语音识别的端到端处理，并取得了平均错误率下降 28% 和低资源语言下降 41% 的显著效果。

    Jun, 2024

  • 减少端到端语种混淆的自动语音识别

    本文基于等价约束理论提出了一种语言相关的注意机制，将单语数据转化为多语数据应用于端到端的自动语音识别中，获得了相对误差减少 17.12% 的优异性能。

    Jan, 2022

  • 探讨语言模型架构的扩展与迁移在机器翻译中的应用

    该研究论文探讨了语言模型和编码器 - 解码器模型在机器翻译中的性能影响，结果表明：语言模型在小规模下的表现差，但随着参数数量的增加，其性能逐渐接近于编码器 - 解码器模型，语言建模和原因屏蔽会对翻译质量产生不利影响，而当与全局可视屏蔽相配合时，语言模型在受监督的双语和多语言翻译任务中能够与编码器 - 解码器模型持平，并且在零翻译方向上表现得更好。

    Feb, 2022