通过跨语言自动语音识别发现语音库存

Jan, 2022

通过跨语言自动语音识别发现语音库存

Discovering Phonetic Inventories with Crosslingual Automatic Speech Recognition

Piotr Żelasko, Siyuan Feng, Laureano Moro Velazquez, Ali Abavisani, Saurabhchand Bhati...

TL;DR本文研究了如何在没有任何语言学知识的情况下，以单语、多语和跨语言的方式构建从未见过的语言的电话清单，并对 13 种语言进行了交叉语言分析，发现少数普遍的电话标记可在跨语言中很好地识别，但独特的声音、类似的声音和语调语言仍然是语音清单发现的主要障碍。

Abstract

The high cost of data acquisition makes automatic speech recognition (ASR) model training problematic for most existing languages, including languages that do not even have a written script, or for which the phone inventories remain unknown. Past works explored multilingual training, t

automatic speech recognition low-resource languages phone inventory unsupervised learning cross-linguistic analysis

发现论文，激发创造

自动语音识别多语言模型综述

该论文研究了基于跨语言转移的多语种自动语音识别模型的最新进展和最佳实践，并探讨了未来的研究方向和建议。

Feb, 2022

多语言异音字系统的通用手机识别

本研究中，通过建立联合模型来处理语言独立性的音位和语言相关性的音素的分布，改进了语音识别性能，同时可以建立一种 (几乎) 通用的音位识别器，当与 PHOIBLE 大型手动编辑的音位库相结合时，可定制为 2,000 个语言相关的识别器，此识别器可在低资源状况下实现语音识别。

Feb, 2020

自动音素转写的零样本学习

本研究使用零样本学习的方法解决语言无训练数据情况下语音转写的挑战，将语音音素分解成相应的发音属性，结合定制的声学模型，实现对目标语言中未知音素的识别，评估结果表明，该方法比传统多语言模型的平均音素误差率提高了 7.7%。

Feb, 2020

简单而有效的零样本跨语言音素识别

本文通过使用发音特征将多种训练语言的音素映射到目标语言中，对多语言预训练的 wav2vec 2.0 模型进行微调，以在没有标记数据的情况下提高其对未见过的语言的识别能力，并在实验中取得了较优效果。

Sep, 2021

跨语言声学 - 语音相似度对多语种语音识别的影响研究

本文提出了一种新的数据驱动方法来研究跨语音识别方案中的跨语言声学语音相似性，通过训练深度神经网络来将来自不同声音模型的分布转化为可直接比较的形式，并通过熵分析发现少重叠语音的语言更易于跨语言传输，在融合单语言模型方面取得了相对于单语言识别的 8％的改进。

Jul, 2022

使用单一端到端模型的多语言语音识别

本文介绍了一种基于序列到序列的正常语音识别模型，它适用于 9 种不同的印度语言，并通过训练语言特定的字形集合，将这些语言联合起来训练模型以提高其性能。

Nov, 2017

多语音预训练中的语言通用语音表示法用于小资源语音识别

本文提出一种结合多语言训练和自监督学习的方法来提高低资源 ASR 性能，其中采用国际音标（IPA）多语言模型为无标签语音创建帧级伪标签，并以这些伪标签以 Phonetically-informed 的方式引导基于 HuBERT 的语音预训练。实验证明，该方法在所有目标语言上均优于标准 HuBERT，并且在 3 种语言中表现更佳，同时最多能够节省 1.5k 小时（75%）有监督训练数据。

May, 2023

跨语言知识转移和迭代伪标注没有包括专有术语或不必要的解释适用于使用转录器的低资源语音识别

该研究旨在通过跨语言知识转移和迭代伪标注的方法来提高语音识别系统对低资源语言的准确性，结果表明，使用这两种技术，可将错误率降低 35%。

May, 2023

低资源语音合成中输入类型和发音字典使用对迁移学习的影响

比较不同输入方式（咬字标签和口腔运动特征）在跨语言转移学习文本转语音系统中的表现，发现使用口腔运动特征可以提高语音生成的自然度和可懂度，并提出两种新方法来解决没有发音词典的低资源语言。

Jun, 2023

学习跨语言映射提升低资源语音识别的数据增强

利用可学习的跨语言映射和数据增强来提高低资源语言的端到端语音识别准确度。

Jun, 2023