本文提出了使用神经序列到序列模型进行语音转换的方法，这个方法可以用在多种语言上，并且相比于基于高资源单语言模型适应低资源语言的方法，我们的方法在语音识别上的表现有显著提升，同时我们的模型更加紧凑。

Aug, 2017

本研究提出了一种基于token级别的集成蒸馏方式，使用Transformer模型以提高语音识别系统中的字素到音素转换的精度，并针对如何利用额外的未标记数据来提高模型精度、减小在线部署的模型大小等实际问题进行了研究，实验结果表明我们的方法可以改善转换效果，使CMUDict数据集上的字素到音素转换错误率减少4.22%以上，成为新的最优性能。

Apr, 2019

本文研究将transformer架构应用于G2P转换，并将其性能与循环卷积神经网络等之前的方法进行比较。结果显示，基于transformer的G2P在单词错误率方面优于基于卷积的方法，并且我们的结果在两个数据集上的单词和音素错误率方面显着超过之前的循环方法（无注意力）。此外，所提出的模型的大小要小得多。

Apr, 2020

使用ByT5模型，我们从不同来源中整理出覆盖100种语言的G2P数据集，并训练了大规模的多语种G2P模型。与单语模型相比，多语种ByT5模型通过同时学习多种语言降低了电话错误率，可进一步通过无监督预测或微调，帮助低资源语言的写作转音。

Apr, 2022

本研究提出了Reinforcer方法，通过强化邻近字符间的语音信息，为语言模型提供强有力的归纳偏置，帮助消除发音的歧义，实验证明该方法大幅提升了最先进的语音转文字架构的性能，并将其与大规模预先训练的模型结合使用，证明了在知识转移场景中使用邻近上下文的有效性。

Mar, 2023

通过从音频记录中学习发音示例来改善G2P转换任务的方法，利用少量带有注释的示例训练G2P模型，使用多语言电话识别系统进行解码，学习对于未收录词汇的发音字典，并重新训练G2P系统，该方法在不同语言和数据量的情况下持续提高G2P系统的音素错误率。

Jul, 2023

优化两阶段跨语言迁移学习在低资源语言中的应用，通过改进音素识别和音素到字素转换模型，优化了语音识别跨语言学习过程，合并共享发音特征的音素以增强识别准确性，引入全局音素噪声生成器降低错误传播。在CommonVoice 12.0数据集上的实验结果表明，对于低资源语言，我们的方法显著减少了单词误差率（WER），展示了方法的有效性，对于改进低资源语言中的两阶段语音识别系统，提供了潜在的跨语言迁移学习。

Dec, 2023

我们介绍了一种新颖有效的语音翻译模型LLM-ST，它基于预训练的大型语言模型（LLM），通过将LLM与语音编码器集成并使用多任务指导调优，LLM-ST能够准确地生成带时间戳的转录和翻译，甚至可以处理长时间的音频输入。此外，我们的研究结果表明，在LLM-ST的环境下使用CoT提示可以带来优势。通过对英语和中文数据集的严格实验，我们展示了LLM-ST的卓越性能，在语音翻译领域树立了新的基准。演示：this https URL

Dec, 2023

通过使用自监督学习的最新进展，本文消除了使用固定表示而非数据驱动的方法生成专家词典的问题，将其应用于无词典的文本转语音系统中，与基于专家词典的方法相比，在没有语言专业知识的前提下达到甚至略优的声音质量。

Jan, 2024

本研究解决了当前大语言模型在多语言和代码切换语境中应用的不足，提出了一种多语言多任务（MLMT）模型，将语音生成与识别任务整合在一起。我们的数据构建方法无须依赖代码切换数据即可实现语音合成，实验结果显示该模型在多语言语音生成和识别任务中明显优于其他基线模型。

Sep, 2024