基于语音合成网络的外语发音学习

Nov, 2018

基于语音合成网络的外语发音学习

Learning pronunciation from a foreign language in speech synthesis networks

Younggun Lee, Suwon Shon, Taesu Kim

TL;DR通过在英语和韩语中训练语音合成网络，本研究分析了网络如何学习不同语言之间的拼音发音关系，并提出了一个基于不同语言信息的训练框架，可以应用于低资源语言。结果表明，该框架可扩展到其他语言，并成功地合成了英语和韩语之间的语音。

Abstract

Although there are more than 6,500 languages in the world, the pronunciations of many phonemes sound similar across the languages. When people learn a foreign language, their pronunciation often reflects their native language's characteristics. This motivates us to investigate how the speech synthesis network learns the pronunciation from datasets from diffe

multilingual speech synthesis phoneme pronunciation bilingual training low-resource language simulations

发现论文，激发创造

学习外语流利口语：多语言语音合成和跨语言语音克隆

该论文基于 Tacotron 合成模型，采用多说话人、多语言合成的方式，在没有任何双语或平行示例的情况下，实现了跨语言的语音转移。通过使用音素输入表征，鼓励模型跨语言共享模型容量，并结合对抗损失项，鼓励模型将语音内容与说话人身份表示分离，可以训练出一个可以用于所有训练语言的说话人的稳定可靠的语音合成模型。

Jul, 2019

跨语言声学 - 语音相似度对多语种语音识别的影响研究

本文提出了一种新的数据驱动方法来研究跨语音识别方案中的跨语言声学语音相似性，通过训练深度神经网络来将来自不同声音模型的分布转化为可直接比较的形式，并通过熵分析发现少重叠语音的语言更易于跨语言传输，在融合单语言模型方面取得了相对于单语言识别的 8％的改进。

Jul, 2022

大规模多语种对抗性语音识别

本文介绍了对多达 100 种语言进行训练的多语言端到端语音识别模型的适应性，研究表明了目标语言和预训练语言在语音学、语音学、语言家族、地理位置和正字法等方面的相对重要性，并通过上下文无关的音素目标和语言对抗性分类目标提高了语言无关的编码器表示的效果。

Apr, 2019

使用动态语言与音韵嵌入改善双语 TTS

该研究构建了一个汉英文字转语音系统，引入了语音学嵌入以捕捉不同语音之间的区别，并在嵌入强度的调节和合适的语音控制方面进行设计，以便在不同情境下产生更为自然标准的英语语音。

Dec, 2022

多语音预训练中的语言通用语音表示法用于小资源语音识别

本文提出一种结合多语言训练和自监督学习的方法来提高低资源 ASR 性能，其中采用国际音标（IPA）多语言模型为无标签语音创建帧级伪标签，并以这些伪标签以 Phonetically-informed 的方式引导基于 HuBERT 的语音预训练。实验证明，该方法在所有目标语言上均优于标准 HuBERT，并且在 3 种语言中表现更佳，同时最多能够节省 1.5k 小时（75%）有监督训练数据。

May, 2023

基于多语言上下文的语音合成中文字发学习

该研究提出了一个多语种统一的前端系统，通过建模语音信息和语言知识，在处理发音相关任务时取得了有竞争力的结果。

Jul, 2023

从说话人验证到多说话人语音合成的迁移学习

描述了一个基于神经网络的文本转语音（TTS）合成系统，可以以许多不同讲话者的声音生成语音音频，该系统由三个独立训练的部分组成，包括训练说话者编码器网络进行讲话者验证任务，基于 Tacotron 2 的序列合成网络，以及将梅尔频谱图转换为时间领域波形样本的自回归 WaveNet 基声码器。

Jun, 2018

简单而有效的零样本跨语言音素识别

本文通过使用发音特征将多种训练语言的音素映射到目标语言中，对多语言预训练的 wav2vec 2.0 模型进行微调，以在没有标记数据的情况下提高其对未见过的语言的识别能力，并在实验中取得了较优效果。

Sep, 2021

学习跨语言映射提升低资源语音识别的数据增强

利用可学习的跨语言映射和数据增强来提高低资源语言的端到端语音识别准确度。

Jun, 2023

一款新型韩语学习应用的设计，用于有效纠正发音

本研究提出了一个新型韩语学习应用程序的设计，其中包括语音识别、语音到文本和语音到波形三个关键系统，使用 Google API 和 librosa 库将用户的语音转换成句子和 MFCC，同时，如果用户发音不准确，软件将用红色突出显示错误的部分，并利用 Siamese 网络提供一个相似性得分来给予反馈。

May, 2022