通过应用多语言情境下的共用符号表示和语言的语言信息来训练递归神经网络模型，我们介绍了多语言模型的思想，以解决建模音序列的问题，该问题中具有普遍符号发明和跨语言共享特征表示。实验结果表明，多语言模型比单语言模型具有更好的泛化性能和更高质量的语音特征表示。

May, 2016

多语言理解的改进方法通常在训练阶段需要多种语言，依赖复杂的训练技术，同时也在高资源语言和低资源语言之间存在重大的性能差距。我们假设语言之间的性能差距受到这些语言之间的语言差距的影响，并通过使用声素表示（具体而言，使用声素作为输入标记到语言模型，而不是次词）来提供强大的多语种语言建模的新解决方案。我们通过三个跨语言任务的定量证据以及对跨语言性能差距的理论分析进一步证明了声素表示的有效性。

Feb, 2024

我们提出了一种方法，通过单一模型学习多语言语音和文本的统一表示，特别关注语音合成的目的。我们使用语音单元表示多语言语音音频，这是从自我监督语音模型编码的语音特征的量化表示。因此，我们可以将语音视为伪文本，并构建语音和文本的统一表示。然后，我们提出在多语言数据上通过单位到单位翻译 (UTUT) 目标训练编码器 - 解码器结构模型。通过使用源语言标记来确定编码器，使用目标语言标记来确定解码器，该模型被优化为将口语语言翻译为目标语言的翻译模型。因此，该模型可以建立口语语言的理解方式，并将其与不同语言相关联。单个经过预训练的 UTUT 模型可以用于各种多语言语音和文本相关任务，如语音到语音翻译 (STS)、多语言文本到语音合成 (TTS) 和文本到语音翻译 (TTST)。我们通过包含各种语言的综合实验验证了所提出方法的有效性。此外，我们展示了 UTUT 可以执行先前在文献中未探索的多对多语言 STS。样例可在此网址获取：https://URL

Aug, 2023

本研究研究了如何利用国际音标中若干语音学特征，在单语言模型的基础上实现不同语言的代码切换的语音识别，从而生成在新语言中可懂的语音。

Aug, 2020

该研究提出了一种新颖的非自回归框架用于口音转换，通过学习口音无关的语言表示并使用它们来转换源语音中的口音，从而保留说话者的身份。研究还调查了在我们提出的框架中的本地数据和不同声学特征的预训练策略的有效性，并使用主客观度量来全面评估了我们方法的性能。评估结果突出了预训练策略和丰富的语义特征的益处，显著提高了音频质量和可理解性。

Jan, 2024

该研究提出了一个多语种统一的前端系统，通过建模语音信息和语言知识，在处理发音相关任务时取得了有竞争力的结果。

Jul, 2023

该研究提出了一种多任务语音模型 (PolySpeech)，支持语音识别、语音合成和两个语音分类任务。PolySpeech 通过引入多模态语言模型作为核心结构，并使用语义表示作为语音输入，实现了多模态优化。实验结果表明，多任务优化在特定任务上表现出可与单任务优化相比的性能，并在各种任务中显示出与单任务模型相媲美的竞争力。

Jun, 2024

本研究通过全面的消融研究，旨在了解训练语料库的各种因素，例如语言家族关系、性别构成和说话人数是如何对多语音合成质量的贡献的，并得出了女性说话数据在大多数情况下是首选的结论，并且并不总是从目标语言方言中拥有更多说话者对训练语料库有益，这些发现对于数据采购和语料库建设的过程是具有信息价值的。

Jul, 2022

本文分析了自动语音识别中使用的端到端神经网络模型的内部表示学习，对音素和字母、不同发音特征进行了比较，并发现不同特征在深度神经网络的不同层中的表示具有明显的一致性。

Jul, 2019

通过提出新的方法，动态地为所有可以表示为 CLTS 标准版本中的声音创建二进制特征向量，我们解决了缺失数据的问题，可以直接访问非常庞大的多语言词表集合，并证明该特征系统不仅可以提供比较语音相似性的简便手段，还可以在未来的跨语言机器学习应用中发挥其潜力。

May, 2024