Oct, 2022

DuDe：基于共同标签集的印度语双解码多语言 ASR

PDF
TL;DR本研究探讨了建立多语种自动语音识别系统的方法，提出了一种名为 “Encoder-Decoder-Decoder” 的新型架构，将常见标签集与本土语音标签相结合，同时分析了基于常见标签集的多语种系统与机器转写相结合的有效性。
multilingualautomatic speech recognitioncommon label setindian languagesencoder-decoder-decoder
发现论文，激发创造
  • 利用 CLS 和语言标注来增强多语种 ASR 的 Tag-Team 方法

    研究了基于通用标签集合（CLS）的多语言 ASR 的性能提升，通过给 ASR 模型添加语言 ID 或使用 CLS 到本地脚本转换器，可以将特定的语言信息注入到 ASR 模型中。这些方法与基线模型相比在词错误率上得到了显着改善，并在分布数据上进行了有效性测试。

    May, 2023

  • 适用于印度语的代码转换和混合语音识别

    本研究通过比较使用多语种和单语种模型进行语音识别的表现，提出了一种基于 wav2vec 2.0 的端到端多语种语音识别和混合语言识别技术，取得了印度诸多语言语音识别的较好效果。

    Mar, 2022

  • 使用单一端到端模型的多语言语音识别

    本文介绍了一种基于序列到序列的正常语音识别模型，它适用于 9 种不同的印度语言，并通过训练语言特定的字形集合，将这些语言联合起来训练模型以提高其性能。

    Nov, 2017

  • 自动语音识别多语言模型综述

    该论文研究了基于跨语言转移的多语种自动语音识别模型的最新进展和最佳实践，并探讨了未来的研究方向和建议。

    Feb, 2022

  • 一个模型统治所有：方言码转换阿拉伯语自动语音识别的多语言策略

    本研究采用自注意力机制，设计了一个大型的多语言端到端语音识别系统，使用阿拉伯语、英语和法语训练。我们评估了该系统在处理单语言、多方言以及代码转换等方面的表现，并与当前最先进的系统进行了比较。结果表明，我们的模型强于最先进的单语言方言阿拉伯语和代码转换阿拉伯语语音识别系统。

    May, 2021

  • 基于数据及知识驱动的多语言训练方法，提升印度语言语音识别系统的性能

    使用数据和知识驱动的方法结合多语言语音数据来进行自动语音识别系统的多语言训练，并在低资源和中资源运用 DNN 的分层映射技术和多任务 DNN 模型，分别在印度语种中取得 9.66％ ~ 27.24％不等的相对准确率提升。

    Jan, 2022

  • 70 种语言的大规模多语音识别：分词、架构、泛化能力

    本文研究了 70 种语言的大规模多语种 ASR 模型，并通过优化多重嵌入和输出模型的标记化策略，相对于单一语种模型，实现了 13.9%-15.6% 的平均 WER 改进，并展示了其泛化性和零样本学习能力在 Multilingual Librispeech 上高达 9.5% 的 WER 表现。

    Nov, 2022

  • 双解码器变压器模型实现联合自动语音识别与多语言语音翻译

    本文介绍了双解码器 Transformer 的新模型架构，该模型同时执行自动语音识别和多语言语音翻译。我们的模型基于原始 Transformer 体系结构，但由两个解码器组成，每个解码器负责一个任务（ASR 或 ST），并通过双关注机制相互交互。我们提出了两种不同的体系结构变体，分别对应于解码器之间的两个不同层次的依赖关系，称为并行双解码器 Transformer 和交叉双解码器 Transformer。我们在 MuST-C 数据集上进行了大量实验，结果显示我们的模型在多语言设置中优于以前报道的最高翻译性能，并且也优于双语一对一结果。此外，我们的并行模型相对于香草多任务体系结构在 ASR 和 ST 之间没有权衡。

    Nov, 2020

  • 通往语言通用的端到端语音识别

    利用最新的端到端语音识别技术，我们提出一种使用通用字符集和网络内自适应机制的多语音种语音识别系统，其可优于单一多语种或多任务学习方法，并可用于代码转换场景。

    Nov, 2017

  • 利用母语信息提高口音识别能力

    本研究提出一种基于使用原生语言（西班牙语和印度语）预训练的端到端循环神经网络多任务学习模型，成功实现对英语口音的识别，相比于其他训练方法，此方法在减小语音中字符错误率方面表现更加优异。

    Apr, 2019